KR101683310B1

KR101683310B1 - Speaker characterization through speech analysis

Info

Publication number: KR101683310B1
Application number: KR1020117001201A
Authority: KR
Inventors: 요아브 데자니; 이사이 자미르
Original assignee: 보이스센스 리미티드
Priority date: 2008-06-17
Filing date: 2009-06-17
Publication date: 2016-12-06
Anticipated expiration: 2029-06-17
Also published as: CN102124515A; EP2304718A2; ES2668969T3; US8195460B2; US20090313018A1; US8682666B2; WO2009153788A2; EP3396668B1; EP2304718B1; KR20110043600A; WO2009153788A3; CN102124515B; EP3396668A1; US20120221336A1; ES2896267T3; JP2011524551A

Abstract

본 발명은 컴퓨터 수행방법, 데이터처리방법, 컴퓨터 프로그램 제품 및 장치를 제공하며, 주어진 조건과 문장에서 화자의 화법어조를 분석하고 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성을 판단하기 위한 화자의 화법어조를 분석하는 것이다.
상기 분석은 주어진 조건과 문장에서 화자의 현재 행동, 심리 및 화법 형태특성을 나타내는 것을 이용하며, 화법어조의 제1 피치와 진폭파라미터로부터 제2 유도체를 계산하는 것에 기초한다. 현재 행동, 심리 및 화법어조의 분류는, 조건과 문장의 범위 내의 서로 다른 화법에서 화자의 계산된 화법 제2 파라미터와, 미리 획득된(pre-obtained) 데이터, 대표값과 다양한 행동에 대한 화법 제2 파라미터의 값조합 및 심리특성을 비교하여 수행된다.
상기 방법은, 주어진 조건에서 화자의 현재 행동, 심리 및 화법형태 특성을 판단히기 위해 화자의 화법어조의 분석과 화법파라미터 리퍼런스 데이터베이스의 정보를 포함한다.The present invention provides a computer-implemented method, a data processing method, a computer program product, and an apparatus, which analyze a speech tone of a speaker in a given condition and sentence and determine a speaker's behavior, psychology, It is to analyze speech tone.
The analysis is based on calculating the second derivative from the first pitch and amplitude parameters of the speech tones, using the representation of the speaker's current behavior, psychology and speech form characteristics in given conditions and sentences. The classification of the current behavior, psychology, and speech tones is based on the speaker's calculated speech second parameter in different speech within the range of the condition and the sentence, pre-obtained data, representative value, 2 parameter value combination and psychological characteristics.
The method includes the analysis of the speaker's speech tones and the information in the speech parameter reference database to determine the speaker's current behavior, psychology and speech form characteristics at given conditions.

Description

{SPEAKER CHARACTERIZATION THROUGH SPEECH ANALYSIS}

본 발명은 화법분석에 관한 것으로 특히 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성을 판단하는 화법의 운율적인 특징을 이용하는 것에 관한 것이다.
The present invention relates to speech analysis and, more particularly, to utilizing the prosodic features of speech art to determine the behavior, psychology, and speech form characteristics of a speaker under given conditions.

화법분석은 그들이 전달하는 정보를 알아내도록 인간의 화법어조(speech utterances)를 처리하는 컴퓨터 방법에 주어지는 일반적인 용어이다. 화법분석은 언어학(linguistic sciences) 내에 음성학 훈련(the phonetics discipline)의 일부로 분류된다. 화법분석은 두 개의 주요 접근방법으로 분류될 수 있다.Narrative analysis is a generic term given to computerized methods of processing human speech utterances to determine the information they convey. Speech analysis is classified as part of the phonetics discipline within linguistic sciences. Narrative analysis can be categorized into two main approaches.

제1 접근방법은 단어, 음절 및 음소(words, syllables and phonemes)가 어떻게 발음되는지 문장이 어떻게 배열되는지를 학습하여 화법내용을 드러내는 것에 촛점이 맞추어진다. '화법 대 문자(speech to text)' 또는 '워드 스포팅(word spotting)'과 같은 많은 대화인식 어플리케이션은 화법 내용을 추출하도록 이러한 접근을 이용한다.The first approach focuses on revealing how the words, syllables and phonemes are pronounced and how the sentences are arranged to reveal the narrative content. Many dialog-aware applications, such as 'speech to text' or 'word spotting', use this approach to extract narrative content.

제2 접근방법은 화법운율의 분석으로, 화법은 억양(intonation), 속도(tempo), 강도(intensity), 강세(stressing) 및 리듬(rhythm)과 같은 화법의 비분절(비단어, 비내용)특징을 분석으로 화법이 구사되는 방법에 촛점이 맞추어진다.The second approach is an analysis of the speech rhyme, in which the speech is divided into nonsegmental (non-word, non-speech) speech, such as intonation, tempo, intensity, stressing and rhythm, The analysis focuses on the way the speech is spoken.

화법이 구사되는 방법은, 화법의 문장과 전체 의미에 의미있는 식견을 더해 화법 "멜로디"를 제공한다. 예를 들어 사람들은 문장의 말미에서 올라가는 억양에 의해 질문과 같은 문장을 인식한다. 강세는, 화법운율 파라미터가 단어의 발음을 어떻게 변화하는지의 고전적인 예이다. 배우는 소정 캐릭터와 같은 소리에 자신들의 화법의 운율을 변화한다.The way the narration is spoken provides the narration "melody" by adding meaningful insights to the sentence of the narration and the whole meaning. For example, people perceive sentences like questions by the accent ascending from the end of the sentence. The accent is a classic example of how a speech rhyme parameter changes the pronunciation of a word. The learners change the rhythm of their narration with the sounds of certain characters.

여기에는 운율적으로 성별차가 있으며, 예를 들면 일반적으로 여성은 남성 보다 높은 주파수를 갖는다. 많은 경우에, 차례 운율적인 특징은 화법의 의미를 변화한다. 우리는 문장이 발음되는 방법으로 변화하여 냉소적(cynical), 풍자적(sarcastic) 또는 동일한 의미를 갖는 것과 같이 문장을 해석한다.There is a gender difference in this, for example, women generally have higher frequencies than men. In many cases, the turn rhyme feature changes the meaning of the speech. We translate the sentence in such a way that the sentence is pronounced as cynical, sarcastic, or have the same meaning.

화법어조(speech utterances)의 운율특성은 화자의 감성상태에 대한 정보를가져온다. 이것은 문학에서 많은 작업에 의한 수년간 동안 보여주고 있다. 이것은 직관적으로 파악된다. 응급서비스에 전화한 흥분한 사람은 일반적으로 빠른 화법을 가지며 목소리는 긴장되고 숨가쁘고 불안정하다.The rhythmic nature of speech utterances brings information about the emotional state of the speaker. This has been shown for many years by many works in literature. This is intuitively understood. An excited person calling an emergency service usually has fast speech, and his voice is tense, breathless, and unstable.

다른 한편 슬픈 경우에 사람은 우울한 상태이고 힘없이 느리게 말하고 간격이 길다. 이러한 특징은 운율화법(the prosodic speech) 특징에 반영된다.On the other hand, if sad, the person is depressed and speaks slowly and without force, and the interval is long. This feature is reflected in the prosodic speech features.

몇몇 특허가 화자의 감성상태를 자동으로 분석하도록 운율화법 특징을 이용하는 것에 관해 등록되어 있다. 다른 감성상태를 분류하는 페트리신(Pertrushin)의 미국특허 제6151571호, 슬라니(Slaney)의 미국특허 제6173260호와, 흥분상태(emotional arousal)를 판단하는 디가니와 자미르(Degani and Zamir)의 유럽특허 EP 1423846호가 있다. 모든 특허는 본 명세서에 참조되어 포함된다.Some patents are registered for using prosodic features to automatically analyze the emotional state of a speaker. US Pat. No. 6,151,571 to Pertrushin to classify other emotional states, US Patent No. 6173260 to Slaney, and Degani and Zamir to determine emotional arousal. European Patent EP 1423846. All patents are incorporated herein by reference.

몇몇 시도가 화자의 개성과 화법의 운율특성 사이에 연관성이 있음을 연구하였다. 보그대시 에브스키(Bogdashevsky)의 미국특허 제6006188호는 유사한 개성을 갖는 사람들의 화법특징을 판단하는 방법을 기술하고 있고, 개성의 자동분류에 대한 검출특징을 이용했다. 개성이 화법에 반영되어 있다는 생각이 일어날 수 있고 직관적으로 느낄 수도 있다. 예를 들어 외향적인 사람의 큰소리의 충동적인 화법패턴과 대조되는 내성적인 사람의 부드럽고 주저하는 화법패턴을 상상할 수 있다.Some attempts have shown that there is a connection between the personality of the speaker and the rhyme characteristics of speech. U.S. Patent No. 6006188 to Bogdashevsky describes a method for determining the speech characteristics of people with similar personality and has utilized the detection feature for automatic classification of personality. The idea that personality is reflected in narration may occur and may feel intuitive. For example, you can imagine a soft and hesitant speech pattern of an introverted person contrasted with an impulsive speech pattern of the outsider's loud voice.

개성의 연결(Linking personality)과 화법패턴은, 화법이 개인의 특성을 넓은 관점에서 표현하는 것을 이해하고 있음을 잘 반영하고 있다. 이러한 개념의 약점이 실시예에서 나타난다. 개성은 개인의 일반적인 특성을 나타낸다. 그러므로 이것이 측정되어야만 한다. 이것은 개성을 반영하는 화자의 화법패턴이 조건변화, 내측상태 변화 및 다른 문장 이상으로 매우 일관됨을 유지해야 한다는 것을 의미한다. 이것은 실제의 경우는 아니다. 화법패턴은 감성상태와 화법운율 사이의 관계와 같이 조건 팩터에 의해 강하게 영향을 받게 된다. 상술한 실시예에서 내성적인 사람이 가끔 화를 낼 때, 그의 화법 패턴은 매우 변화하고 외향적인 사람의 화법패턴과 유사하다.Linking personality and narrative patterns reflect well that narrative understands expressing individual characteristics in a broader perspective. The weaknesses of this concept appear in the examples. Personality represents a general characteristic of an individual. Therefore, this must be measured. This means that the speaker's speech pattern, which reflects personality, must remain highly consistent with the conditional change, medial state change, and other sentences. This is not the case in practice. The speech pattern is strongly influenced by the condition factor, such as the relationship between emotional state and speech rhyme. When an introverted person in an above-described embodiment is angered at times, his speech pattern is similar to a highly varied and outgoing human speech pattern.

아마도 통계적으로 우리는 매우 다른 경우에서 내성적인 사람의 화법패턴을 측정하면 개성과 화법 사이에 매우 큰 연관성이 있다는 것을 알 수 있다. 리퍼런스 데이터 내의 조건과 유사한 조건 하에서 개성을 갖는 화법패턴을 나타내는 사람의 화법을 샘플하면 신뢰할 만하다.Perhaps statistically, we can see that there is a very strong connection between personality and speech when we measure introverted person's speech patterns in very different cases. It is reliable to sample a person's speech that represents a personality-like speech pattern under conditions similar to those in the reference data.

그러나 중간조건 팩터(an intervening situational factor)가 우월할 때, 이것은 경우(case)가 될 수 없다. 실제 생활에서 조건팩터는 화법에 자주 영향을 준다. 그러므로 운율화법을 통해 개성 측정이 조건 독립방법과 같이 인지될 수 없다.
However, when an intervening situational factor is superior, this can not be the case. In real life, condition factors often influence speech. Therefore, personality measurement can not be perceived as a condition independent method through the rhyme method.

본 발명은 컴퓨터 수행방법, 데이터처리방법, 컴퓨터 프로그램 제품 및 장치를 제공하며, 주어진 조건과 문장에서 화자의 화법어조를 분석하고 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성을 판단하기 위한 화자의 화법어조를 분석하는 것이다.The present invention provides a computer-implemented method, a data processing method, a computer program product, and an apparatus, which analyze a speech tone of a speaker in a given condition and sentence and determine a speaker's behavior, psychology, It is to analyze speech tone.

상기 분석은 주어진 조건과 문장에서 화자의 현재 행동, 심리 및 화법 형태특성을 나타내는 것을 이용하며, 화법어조의 제1 피치와 진폭파라미터로부터 제2 유도체를 계산하는 것에 기초한다.The analysis is based on calculating the second derivative from the first pitch and amplitude parameters of the speech tones, using the representation of the speaker's current behavior, psychology and speech form characteristics in given conditions and sentences.

현재 행동, 심리 및 화법어조의 분류는, 조건과 문장의 범위 내의 서로 다른 화법에서 화자의 계산된 화법 제2 파라미터와, 미리 획득된(pre-obtained) 데이터, 대표값과 다양한 행동에 대한 화법 제2 파라미터의 값조합 및 심리특성을 비교하여 수행된다.
The classification of the current behavior, psychology, and speech tones is based on the speaker's calculated speech second parameter in different speech within the range of the condition and the sentence, pre-obtained data, representative value, 2 parameter value combination and psychological characteristics.

본 발명의 기술적 사상은 소정 조건에서 화자의 화법의 운율특징을 분석하여 화자의 현재 행동, 심리 및 화법어조를 판단하도록 일반적인 화자 독립방법을 제공하는 것이다. 화자의 개성은 조건 종속 파라미터를 전이하거나 조건 독립 파라미터를 안정시키는 것과 관련될 수 있다. 본 발명의 실시예는 사람이 소리를 내는지, 온화한지(open), 객관적인지(detached), 감정표현을 하는지(expressive) 또는 겸양적인지(reserved)를 판단하는 것이 가능하고, 상기 특성은 화자의 성향 또는 소정 조건과 문장을 반영하는 것을 판단하지 않는다. 이러한 타입의 정보는 다양한 피드백 동안 분석된 개인과, 보다 나은 이해를 위해 분석된 개인과 통신하는 개인에게 매우 가치있게 될 수 있다.The technical idea of the present invention is to provide a general speaker-independent method for analyzing a prosodic characteristic of a speaker's speech method under predetermined conditions to determine a speaker's current behavior, psychology and speech tone. The personality of the speaker can be related to transitioning the condition dependent parameter or stabilizing the condition independent parameter. An embodiment of the present invention is capable of determining whether a person is making a sound, open, detached, expressive or reserved, Or does not judge to reflect certain conditions and sentences. This type of information can be of great value to individuals who have been analyzed during various feedbacks and individuals who have communicated with the analyzed individuals for better understanding.

다양한 구체적인 실시예에서 본 발명은 화법의 유일한 제2 지시기로부터 화자의 조건적인 행동, 심리 및 화법어조를 특성화하는 컴퓨터 수행방법, 데이터처리시스템, 컴퓨터 프로그램 제품 및 장치와 같이 실현된다.
In various specific embodiments, the present invention is implemented as a computer-implemented method, a data processing system, a computer program product, and an apparatus for characterizing conditional behavior, psychology, and speech tones of a speaker from a single second indicator of speech.

도1은 본 발명의 방법에 의한 다른 행동, 심리 및 화법 형태특성을 분류하기 위한 화법파라미터 리퍼런스 데이터를 형성하고 획득하는 단계를 도시한 높은 단계(a high level flowchart)의 순서도이고,
도2는 본 발명에 의한 리퍼런스 데이터베이스를 이용하는 동안 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성을 판단하고 화자의 화법어조를 분석하는 단계를 도시한 높은 단계의 순서도이고,
도3은 본 발명의 방법에 의한 본 발명의 몇몇 실시예에서 수행될 수 있는 선택적인 단계를 도시한 높은 단계의 순서도이고,
도4는 본 발명의 몇몇 실시예에 의한 데이터처리 시스템의 블록다이어그램을 도시한 것이고,
도5는 본 발명의 몇몇 실시예에 의한 장치의 블록다이어그램을 도시한 것이다.Figure 1 is a flowchart of a high level flowchart illustrating the steps of forming and obtaining speech parameter reference data for classifying other behavior, psychology, and speech form features according to the method of the present invention,
FIG. 2 is a high-level flowchart illustrating a step of determining the behavior, psychology, and speech form characteristics of a speaker under a given condition while analyzing a speech tone of a speaker while using the reference database according to the present invention,
Figure 3 is a high-level flowchart illustrating optional steps that may be performed in some embodiments of the present invention by the method of the present invention,
Figure 4 illustrates a block diagram of a data processing system according to some embodiments of the present invention,
Figure 5 illustrates a block diagram of an apparatus according to some embodiments of the present invention.

본 명세서에서 "조건적인(situational)"이라는 의미는 특성 또는 화자의 현재 상태와 관련한 것이다. 반대로 조건적인 특성은 일반적으로 화자에 유효하지는 않는다. 예를 들어 화자의 조건적인 특성은, "화자가 단호하다(The speaker sounds assertive)", "화자가 겸양적이다(The speaker sounds reserved)", "화자가 계산적이다(The speaker sounds calculated)" 이와 같은 것이다. 이것은 일반적으로 화자가 자연스럽고, 단호하고 겸양적이고 계산적이라는 것은 아니고, 화자의 현재 분석된 화법어조가 그렇다는 것이다. 명확하게 동일한 화자는 다른 조건에 다르게 반응하다.As used herein, the term " situational "refers to the current state of a characteristic or speaker. Conversely, conditional properties are generally not valid for speakers. For example, the conditional characteristics of a speaker are: "The speaker sounds assertive", "The speaker sounds reserved", "The speaker sounds calculated" It is the same. This is not to say that the speaker is natural, decisive, humorous and computational in general, but the speaker's current analyzed speech tone. Clearly the same speaker reacts differently to different conditions.

본 명세서에서 "문장적(contextual)"이라는 의미는, 문화, 언어, 강세, 연령과 같은 요소를 포함하는 화자의 전기적 배경(the biographical background)에 의해, 또한 강의 동안, 연설하는 동안 그리고 전쟁, 비상상황 및 경기와 같은 스트레스를 받는 상화에서의 육체적인 활동 또는 연극에서의 연기 동안에 대화 또는 독백, 문자의 낭독(reading-loud written text) 또는 자유화법, 규칙적인 화법 조건 또는 화법과 같은 조건 설정의 특별한 속성(attribute)에 의해 도출되고, 속성화되고 또는 영향을 받는 조건의 일반적인 특성을 나타내는 것으로 정의된다.The term " contextual "as used herein is intended to encompass all forms of speech, including the biographical background of the speaker, including elements such as culture, language, During a physical activity in a stressed situation such as a situation or a game, or during a play in a play, there is a special setting of conditions such as conversation or monologue, reading-loud written text or liberation, It is defined as representing the general characteristics of a condition derived, attributed or affected by an attribute.

본 명세서에서 "화법형태(speech style)"이라는 의미는, 소정 조건에서의 이용되는 행동과 심리특성을 나타내는 일반적인 화법패턴을 의미하고 한다. 예를 들면 표현적인 화법형태, 계산적인 화법형태 직접적인 화법형태이다. 사람들은 소정 조건과 문장에 따라 자신들의 화법형태를 변화하려는 경향이 있다.As used herein, the term " speech style "means a general speech pattern that represents the behavior and psychological characteristics used in a given condition. For example, expressive speech form, computational speech form is a direct speech form. People tend to change their form of speech according to certain conditions and sentences.

본 명세서에서 "통신시스템(communication system)"이라는 의미는 음성어조의 전달을 가능하게 하는 음성통신시스템에 존재한다. 이러한 시스템은 유선 또는 무선 텔리포니 시스템, 셀룰러 통신네트워크, 웹기반 통신시스템 음성IP 기반 통신시스템(voice over IP based communication system) 및 콜센터 시스템이 될 수 있다,The term "communication system" as used herein refers to a voice communication system that enables the transmission of voice tones. Such a system may be a wired or wireless telephony system, a cellular communication network, a web based communication system, a voice over IP based communication system, and a call center system.

이하의 상세한 설명에서 구체적인 설명은 본 발명의 전체적인 이해를 제공하도록 설명된다. 그러나 본 발명의 기술적 사상은 매우 구체적인 설명없이 실행될 수 있는 것으로 이해된다. 다른 실시예에서 공지된 방법, 처리, 구성요소 및 회로는 본 발명의 기술적 사상에서 구체적으로 설명되지는 않는다.In the following detailed description, the specific illustrations are set forth to provide a thorough understanding of the present invention. However, it is to be understood that the technical spirit of the present invention can be practiced without a very specific explanation. In other embodiments, well-known methods, processes, components, and circuits are not specifically described in the technical scope of the present invention.

본 발명의 실시예는 화법분석기술을 이용하는 화자의 행동, 심리 및 화법 형태특성을 판단하기 위한 컴퓨터 수행방법, 데이터처리방법, 컴퓨터 프로그램 제품 및 장치를 기재한다.Embodiments of the present invention describe a computer execution method, a data processing method, a computer program product, and an apparatus for determining characteristics of a behavior, a psychology, and a speech form of a speaker using a speech analysis technique.

본 발명은, 화법패턴이 감성상태 외에 광범위하게 화자의 행동 및 심리특성을 반영하는 사실에 기초한다. 하나는 감성 및 화법패턴을 통해 표현되는 많은 행동 또는 심리특성을 생각할 수 있다. 예를 들면 단순함(directness), 단호함(assertiveness), 민감성(responsiveness), 솔직함(openness), 표현력(expressiveness), 주저됨(being hesitated), 내성적임(reserved), 지휘적임(commanding), 제어됨(controlled), 계산됨(calculated), 인내력(patient), 조바심(impatient), 그리고 이해심(empathetic) 등. 본 발명은 행동과 심리특성 그리고 화법어조를 분석하는 능력에 관한 것이다.The present invention is based on the fact that the speech pattern widely reflects the behavior and psychological characteristics of the speaker in addition to the emotional state. One can think of many behavioral or psychological characteristics expressed through emotional and speech patterns. For example, there is no directness, assertiveness, responsiveness, openness, expressiveness, being hesitated, reserved, commanding, controlled controlled, calculated, patient, impatient, and empathetic. The present invention relates to the ability to analyze behavior and psychological characteristics and speech tone.

본 발명의 실시예에 의하면 본 발명의 실시는 화법패턴에서 그러한 특성의 반영이 항시적인 성향(constant nature) 보다 조건적인 성향(a situational nature)이라는 것을 고려한다. 상기와 같은 행동특성은 조건의 문장, 화자의 감성상태 화장의 개성이 관계되고 모든 요소의 조합이 된다.According to embodiments of the present invention, the practice of the present invention contemplates that the reflection of such characteristics in a speech pattern is a situational nature rather than a constant nature. The above behavioral characteristics are related to the sentence of the condition and the personality of the emotional state makeup of the speaker and are all combinations of elements.

예를 들어 직접적인 단호한 화법패턴은 게임(문장) 중간에서 일반적인 코치 플레이어 대화를 특성화할 수 있거나 고객서비스 대화(감성)에서 불만족스러운 고객의 노여움과 관계될 수 있는 것이다. 그러나 다른 경우에서 그것은 화자의 일반적인 단호한 개성을 반영한다. 상기 화법운율 파라미터(the speech prosody parameters, 속도, 억양, 강도 등을 반영)는 단호한 화법을 나타내지만 특정 문장 또는 조건 또는 개성에 관여하는지의 차이점을 나타내지는 않는다.For example, a direct decisive speech pattern can characterize a typical coach player conversation in the middle of a game (sentence), or it can relate to the anger of an unsatisfied customer in a customer service conversation (emotional). But in other cases it reflects the general decisive personality of the speaker. The speech prosody parameters (reflecting speed, intonation, intensity, etc.) indicate a decisive speech, but do not indicate differences in whether they are involved in a particular sentence or condition or personality.

따라서 본 발명에는 두 가지 기본이 있다. 화법의 운율특징은 화자의 광범위한 행동과 심리적 특성을 반영하고, 화법패턴에서 그러한 특징의 태도는 강한 조건적 성향을 가지며, 화자의 현재상태의 지표이다.There are therefore two bases in the present invention. The prosodic features of the narrative reflect the broader behavior and psychological characteristics of the narrator, and the attitude of such characteristics in narrative patterns is a strong conditional tendency and an indicator of the current state of the narrator.

그러므로 본 발명의 목적은 소정 조건에서 개인의 화법의 운율특징을 분석하여 개인의 현재 행동과 심리특성을 판단하는 일반적인 화자 독립방법을 제공하는 것이다.It is therefore an object of the present invention to provide a general speaker-independent method of analyzing a person's prosodic features in a predetermined condition to determine an individual's current behavior and psychological characteristics.

또한 본 발명은 직업적인, 교육적인, 치료적인 그리고 레크레이션 목적으로 다양한 트레이닝 어플리케이션의 일부로 다른 조건에서의 행동 및 심리적 특성을 갖는 개인으로 피드백을 제공하는데 이용된다.The present invention is also used to provide feedback to individuals who have behavioral and psychological characteristics in different conditions as part of various training applications for professional, educational, therapeutic, and recreational purposes.

본 발명은, 다양한 어플리케이션과 직업적인, 교육적인, 치료적인 그리고 레크레이션 목적으로 분석된 개인의 현재 행동 및 심리적 특성의 이해에 기초하여 분석된 개성과 어떻게 의사소통하는지 다른 사람 관점을 제공하는데 이용될 수 있다. The present invention can be used to provide a different view of how to communicate with personality analyzed based on an understanding of current behavior and psychological characteristics of individuals analyzed for various applications and professional, educational, therapeutic and recreational purposes have.

본 발명의 실시는 행동 및 심리적 특성을 나타내는 파라미터를 추출하고 검출하며 상기 특성은 화자독립적인 것이다. 사람들은 각각의 운율화법 특성 -일반적인 피치, 속도, 억양 등과 같은 특성- 을 확실하게 구분하다. 또한 그들은 소정 행동 및 심리적인 특성을 표현하는 각각의 방법으로 구분할 수 있다. 예를 들어 하나는 화법 집중도를 변화하여 주로 단호함을 표현하고 다른 하나는 속도를 조절하여 단호함을 표현하는 것이다. 화자독립 처리에 이르는 것은 행동의 운율표현과 심리적 특성에서의 개인차를 해소하는 것이 필요하다.The practice of the present invention extracts and detects parameters indicative of behavioral and psychological characteristics, the characteristics being speaker-independent. People clearly distinguish between the characteristics of each rhyme pattern - such as general pitch, speed, and accent. They can also be distinguished by their respective methods of expressing certain behavioral and psychological characteristics. For example, one expresses resoluteness by varying the concentration of narration, and the other expresses decisiveness by controlling the speed. It is necessary to resolve individual differences in rhyme expression and psychological characteristics of behavior to reach speaker independent treatment.

본 발명은 운율특징의 분석에서 제1 피치와 진폭화법 파라미터의 유일한 제2 화법추출을 이용하여 화자독립처리를 달성한다. 제2 파라미터는 화법어조에서 상승-피치, 하강-피치 및 동일한 피치 세그먼트의 다양한 통계적 지시기 특성을 갖는다. 각각의 화법차이에 의한 영향이 없이 유일한 제2 파라미터는 행동과 심리적 특성을 나타낸다.The present invention achieves speaker-independent processing using the first pitch and the only second speech extraction of the amplitude method parameters in the analysis of the rhyme feature. The second parameter has various statistical indicator characteristics of rising-pitch, falling-pitch and the same pitch segment in the speech tones. The only second parameter without affect by each speech method difference is behavior and psychological characteristics.

본 발명의 또 따른 태양은 화법형태이다. 많은 행동과 심리적 특성의 화법패턴을 경험적으로 검토(examining)할 때, 특성들은 구별되는 화법형태를 형성하는 그룹으로 명백하게 나타난다. 이러한 것은 화법어조를 들을 때와 화법어조를 분류할 때 명백하게 이루어진다; 소정 행동과 심리적 특성은 동일한 어조로 모아지는 경향이 있다. 또한 운율특성을 분석할 때, 소정 행동 및 심리적 특성은 다른 것과 비교할 때 서로 더욱 유사하다.A further aspect of the invention is in the form of speech. When empirically examining the speech patterns of many behaviors and psychological characteristics, the characters appear clearly as a group forming distinct speech patterns. This is evident when listening to narrative tones and sorting narrative tones; Certain behaviors and psychological characteristics tend to be collected in the same tone. Also, when analyzing the rhyme characteristics, certain behavioral and psychological characteristics are more similar to each other compared to others.

이하는 각 잠재적 화법형태의 실시예이다. 화법의 한 형태는 느림(slowness), 침묵(quietness), 안정됨(steadiness), 평온함(calmness), 우유부단함(indecisiveness)과 같은 행동 및 심리적 특성을 포함하는 '수동(passive)' 또는 '정적(steady)'이 될 수 있다. 화법의 또 다른 형태는 반응성(responsiveness), 개방성(openness), 수다스러움(talkativeness), 표정이 풍부함(expressiveness)과 같은 특성을 포함하는 '말하기를 좋아하는(communicative)'이 될 수 있다. 화법의 또 다른 형태는 단순함(directness), 관록있는(commanding), 빠른 속도(fast- paced), 단호함(loudness), 활동적인(activeness) 등을 포함하는 단호함(assertive)이 될 수 있다. 또 다른 형태는 분석적인(analytical), 비감성적인(non-emotional), 제어되는(controlled), 겸양적인(reserved), 조직적인(systematical) 등과 같은 특성을 포함하는 '계산적인(calculated)'이 될 수 있다. 이러한 화법형태는 실시예에 기재된다. 자연적으로 몇몇 다른 형태가 운율특징의 이용에 의해 설명된다.The following are examples of each potential form of speech. One form of speech is 'passive' or 'steady', involving behavioral and psychological characteristics such as slowness, quietness, steadiness, calmness, indecisiveness, ) '. Another form of speech can be 'communicative', including characteristics such as responsiveness, openness, talkativeness, and expressiveness. Another form of speech can be assertive, including directness, commanding, fast-paced, loudness, and activeness. Another form is 'calculated', which includes characteristics such as analytical, non-emotional, controlled, reserved, systematical, etc. . These formatting modes are described in the Examples. Naturally, several other forms are explained by the use of the rhyme feature.

상술한 화법형태는 강한 조건적 성향을 갖는 강세를 갖는 것이 중요하다. 가끔씩 상술한 형태들이 화자의 확고함을 표현하지만 대부분의 경우 화법은 현재 상호작용 패턴을 표현하거나 소정 조건 또는 문장과 관련되어 화자의 현재 내부상태를 표현한다. 종종 동일한 사람이 다른 문장에서 화법형태를 바꾼다.It is important that the form of speech described above has a strong impression of a strong conditional tendency. Sometimes, the above-described forms express the firmness of the speaker, but in most cases the narration expresses the present internal state of the speaker in relation to the present condition of interaction pattern or the present condition of interaction pattern. Often the same person changes the form of speech in another sentence.

화법분석을 통한 화법 형태를 판단하는 것은 본 발명의 상술한 효과적인 어플리케이션에 있어서 매우 유익할 수 있으며, 분석된 조건의 보다 이해력있는 식견을 제공할 수 있다.Determining the speech form through speech analysis can be very beneficial for the above-mentioned effective applications of the present invention and can provide a more comprehensible insight into the analyzed conditions.

그러므로 본 발명의 또 다른 목적은 소정 조건에서 개인의 화법의 운율특징을 분석하여 개인의 현재 화법형태를 분석하는 일반적인 화자 독립방법을 제공하는 것이다.
It is another object of the present invention to provide a general speaker independent method of analyzing a current speech form of an individual by analyzing a prosodic characteristic of a speech method of a person under a predetermined condition.

본 발명의 구체적인 실시예는 종래의 운율화법 분석방법으로부터 그것들을 구분하는 세가지 관점의 잇점을 갖는다.The specific embodiments of the present invention have the advantage of three aspects that distinguish them from conventional prosodic analysis methods.

제1 관점은 운율화법 분석을 통해 판단되는 화자의 개인특성 범위를 현저하게 넓히는 것이다. 매우 다양한 행동, 심리 및 화법형태 특성은 화자의 감성상태 이외에 분석에 의해 판단될 수 있도록 언급되고 과거에 표현된 주요 어플리케이션이다. 제2 다른 관점은 화자의 현재, 조건적인 그리고 행동 속성과 화자의 대응 화법 특성 사이에 연결이다. 제3 다른 점은 화자 독립처리를 이루기 위해 화법의 기초적인 주파수와 진폭 파라미터의 제2 추출의 이용이다. 이러한 유일한 제2 파라미터와 그 조합의 이용은 화법표현에서 각각의 차이점을 해소하는 것이 가능하고 유사한 행동과 심리 관점은 다른 사람들의 화법특성에서 유사하게 나타난다.
The first aspect is to significantly broaden the range of personal characteristics of the speaker as judged by the rhyme method analysis. A wide variety of behaviors, psychology, and speech form features are key applications that have been mentioned and expressed in the past so that they can be judged by analysis in addition to the emotional state of the speaker. The second different view is a connection between the speaker's current, conditional, and behavioral properties and the speaker's correspondence characteristics. The third difference is the use of the second extraction of the fundamental frequency and amplitude parameters of the speech to achieve speaker independent processing. The use of these unique second parameters and their combinations makes it possible to resolve the differences in speech expressions, and similar behavior and psychological viewpoints are similar in other people's speech characteristics.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명하기로 한다. 본 발명의 목적, 작용, 효과를 포함하여 기타 다른 목적들, 특징점들, 그리고 작동상의 이점들이 바람직한 실시예의 설명에 의해 보다 명확해질 것이다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that the present invention may be easily understood by those skilled in the art. . Other objects, features, and operational advantages, including the objects, actions, and effects of the present invention, will become more apparent from the description of the preferred embodiments.

도1은 본 발명의 방법에 의한 다양한 행동, 심리 및 화법 형태특성을 분류하기 위한 화법파라미터 리퍼런스 데이터베이스를 생성하는 방법을 도시한 높은 단계(a high level flowchart)의 순서도이다.1 is a flowchart of a high level flowchart illustrating a method of generating a speech parameter reference database for classifying various behavioral, psychological, and speech form features by the method of the present invention.

상기 방법은, 예를 들면 소정 언어, 문화 또는 유일한 조건 설정의 소정 대화문장(speaking context)을 수동으로 선택하는 단계(1010)와; 상기 선택된 문장에서 분석되는 다양한 행동, 심리 및 화법 형태특성을 수동으로 선택하는 단계(1020)와; 상기 선택된 문장에서 사람들의 다수의 화법어조를 획득하는 단계(obtaining,1030)와; 유사한 행동, 심리 및 화법특성을 나타내는 그룹으로 화법어조를 수동으로 그룹핑하는 단계(1040);를 포함한다.The method may include, for example, manually selecting (1010) a predetermined speaking context of a predetermined language, culture, or unique condition setting; Manually selecting (1020) various behavior, psychology, and speech form features that are analyzed in the selected sentence; Obtaining a plurality of speech tone of the people in the selected sentence (obtaining 1030); And manually grouping the speech tones into groups representing similar behavior, psychology, and speech features (1040).

상기 방법은 전문가 등급(expert ratings), 개인 등급(peer-rating), 자신 등급(self-ratings), 목적테스트(objective tests)등과 같은 알려지고 유용한 평가방법을 이용하여 수행되거나 사회과학과 행동과학 분야에서 이용되고 알려진 평가방법을 이용하여 수행된다.The method may be performed using known and useful evaluation methods such as expert ratings, peer-rating, self-ratings, objective tests, And is performed using known and known evaluation methods.

상기 조건적인 특성은 예를 들면 단순함(directness), 단호함(assertiveness), 민감성(responsiveness), 솔직함(openness), 표현력(expressiveness), 주저됨(being hesitated), 내성적임(reserved), 지휘적임(commanding), 제어됨(controlled), 계산됨(calculated),인내력(patient), 조바심(impatient), 또는 감정적임(empathetic)이거나, 화법패턴에 반영되거나 표현될 수 있는 다른 조건적인 행도 및 심리적 특성이 될 수 있다.The conditional characteristics may include, for example, directness, assertiveness, responsiveness, openness, expressiveness, being hesitated, reserved, commanding ), Controlled, calculated, patient, impatient, or empathetic, or other conditional patterns and psychological characteristics that can be reflected or expressed in a speech pattern .

이러한 화법형태는 느림(slowness), 침묵(quietness), 안정됨(steadiness), 평온함(calmness), 우유부단함(indecisiveness)과 같은 행동 및 심리적 특성을 포함하는 '수동(passive)' 또는 '정적(steady)'이 되거나, 반응성(responsiveness), 개방성(openness), 수다스러움(talkativeness), 표정이 풍부함(expressiveness)과 같은 특성을 포함하는 '말하기를 좋아하는(communicative)' 되거나, 단순함(directness), 관록있는(commanding), 빠른 속도(fast-paced), 단호함(loudness), 활동적인(activeness) 등을 포함하는 단호함(assertive)이 되거나, 분석적인(analytical), 비감성적인(non-emotional), 제어되는(controlled), 겸양적인(reserved), 조직적인(systematical) 등과 같은 특성을 포함하는 '계산적인(calculated)'이 될 수 있다.This form of speech is either 'passive' or 'steady', including behavioral and psychological characteristics such as slowness, quietness, steadiness, calmness, indecisiveness, Communicative 'or' directness', which includes characteristics such as' responsiveness', 'openness',' talkativeness' and 'expressiveness' analytical, non-emotional, or controlled (including, but not limited to: assertive, including, but not limited to, commanding, fast-paced, loudness, calculated 'that includes characteristics such as controlled, reserved, systematical, and so on.

본 발명에 의한 구체적인 실시예에 의하면, 상기 데이터베이스는 하나 또는 그 이상의 행동, 심리 및 화법형태 특성의 화법파라미터를 포함할 수 있다. 상기 방법은, 유사한 행동, 심리 및 화법특성을 나타내는 어조의 그룹 내의 각각의 화법어조를 묵언(silent)과 활성(active) 화법세그먼트(speech segments)로 전처리하는 단계(pre-processing,1050)와; 동일 길이의 스트링블록으로 활성 화법세그먼트를 분할하는 단계(dividing,1060)와; 상기 블록은 피치와 진폭 파라미터를 포함하는 제1 화법파라미터(1060)를 가지며, 상기 제1 화법파라미터로부터 다수의 제2 화법파라미터를 도출하는 단계(deriving); 및 상기 다수의 선택된 화법파라미터는, 동일 피치의 시간유닛 당 세그먼트 합(the sum of segments per time unit of equal-pitch), 블록의 스트링에서 상승 피치와 하강 피치 트렌드(rising-pitch and falling-pitch trends) 및 상기 스트링블록 내에서 동일한 피치, 상승피치와 하강피칭 트렌드의 세그먼트의 평균길이(the average lengths of segments)를 포함하고(1070), 상기 도출된 제2 파라미터로부터 어조를 갖는 각 그룹과 공통적이고 각 그룹의 각 그룹의 일반적인 행동, 심리 또는 화법 형태특성을 나타내는 파라미터 값, 파라미터조합, 유일한 제2 화법파라미터를 판단하는 단계(1080)를 포함한다. 이것은 데이터베이스의 이용이 본 발명의 실시예에서 이용되는 것으로 단순히 이해될 수 있으며, 소정 문장에서 대응하는 행동 특징과 화법파라미터의 사전은 화법 파라미터를 나타내는 방법으로 함께 저장될 수 있다. 상기 데이터베이스 또는 파라미터의 세트는 다른 수단에 의해 저장될 수 있거나 실제 소프트웨어의 이용없이 컴퓨터프로그램에 의한 리퍼런스용으로 이용될 수 있다.According to a specific embodiment of the present invention, the database may include speech parameters of one or more behavior, psychology and speech form characteristics. The method includes pre-processing (1050) a silent and active speech segments of each speech tone in a group of tones that exhibit similar behavior, psychology, and speech characteristics; Dividing 1060 active segmentation into a string block of equal length; The block having a first speech parameter (1060) comprising a pitch and an amplitude parameter, deriving a plurality of second speech parameters from the first speech parameter; And wherein the plurality of selected speech parameters comprise a sum of segments per time unit of equal-pitch, a rising-pitch and falling-pitch trend in a string of blocks, ) And the average lengths of segments of the same pitch, rising pitch and falling pitching trend in the string block (1070), and is common to each group having a tone from the derived second parameter (1080) determining parameter values, parameter combinations, and unique second speech parameters that represent typical behavior, psychological or speech form characteristics of each group of each group. This can be simply understood as the use of the database is used in the embodiments of the present invention, and the corresponding behavioral features and dictionary of speech-related parameters in a given sentence can be stored together in a way that indicates speech-related parameters. The database or set of parameters may be stored by other means or may be used for reference by a computer program without the use of actual software.

본 발명의 구체적인 실시예에 의하면, 다수의 제2 화법파라미터를 도출하는 단계는 리스트로부터 선택된 파라미터에서 부가적으로 관리되고(directed), 다수의 제2 화법파라미터는, 평균중지길이(average pause length), 시간유닛 당 중지합(sum of pauses per time unit), 짧은 묵언의 평균길이(average length of short silences), 시간유닛 당 짧은 묵언의 합(sum of short silences per time unit), 동일 피치세그먼트의 평균길이(average length of equal pitch segments), 시간유닛 당 동일피치 세그먼트합(sum of equal pitch segments per time unit), 상승피치세그먼트의 평균길이(average length of rising pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of rising pitch segments per time unit), 하강피치세그먼트의 평균길이(average length of falling pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of falling pitch segments per time unit), 동일피치세그먼트 내의 평균진폭분산(average amplitude dispersion within equal pitch segments), 상승피치세그먼트 내의 평균진폭분산(average amplitude dispersion within rising pitch segments), 하강피치세그먼트 내의 평균진폭분산(average amplitude dispersion within falling pitch segments), 시간유닛 당 피치변화와 범위(pitch variance and range per time unit), 시간유닛 당 평균피치경사도(average pitch slope per time unit), 스펙트럼모양의 패턴과 과도시간 화법신호의 스펙트럼 포락선(patterns of spectral shape and spectral envelope of the speech signal over time), 상승 순차의 패턴(patterns of sequential order of rising), 하강과 고도시간의 동일한 피치트렌드(falling and equal pitch trends over time)를 포함한다.According to a specific embodiment of the present invention, deriving a plurality of second speech parameters is additionally managed in a parameter selected from the list, and the plurality of second speech parameters are determined based on an average pause length, A sum of pauses per time unit, an average length of short silences, a sum of short silences per time unit, a mean of the same pitch segment, The average length of equal pitch segments, the sum of equal pitch segments per time unit, the average length of rising pitch segments, the number of pitch segments per time unit, A sum of rising pitch segments per time unit, an average length of falling pitch segments, a sum of falling pitch segments per time unit the average amplitude dispersion within the pitch segment, the average amplitude dispersion within the pitch segment, the average amplitude dispersion within the pitch segment, the average amplitude dispersion within the pitch segment, pitch segments, pitch variance and range per time unit, average pitch slope per time unit, spectral shape patterns and spectral envelope patterns of transient timestamp signals, of the spectral envelope of the speech signal over time, patterns of sequential order of rising, and falling and equal pitch trends over time.

도2는 본 발명에 의한 구체적인 실시예에 따라 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성을 판단하고, 문장과 주어진 조건에서의 화자의 화법어조를 분석하는 컴퓨터 실행방법의 단계를 도시한 높은 단계의 순서도이다.FIG. 2 is a block diagram illustrating the steps of a computer-implemented method for determining the behavior, psychology, and speech form characteristics of a speaker in a given condition according to a specific embodiment of the present invention, and analyzing the speech- FIG.

상기 방법은, 다양한 행동, 심리 및 화법 형태특성에 따라 화법어조를 분류하기 위한 화법파라미터 리퍼런스 데이터베이스를 생성하는 단계(2010)와; 소정 조건 및 문장에서 화자의 화법어조를 획득하는 단계(2020)와; 상기 획득한 화법어조를 묵언과 활성화법세그먼트를 전처리하고 상기 활성화법 세그먼트를 동일길이 블록의 스트링으로 분할하는 단계(2030)와; 상기 블록은 피치와 진폭파라미터를 포함하는 제1 화법파라미터를 가지며, 상기 제1 파라미터로부터 다수의 제2 화법파라미터를 도출하는 단계(2040)와; 상기 제2 화법파라미터는, 동일 피치의 시간유닛 당 세그먼트 합(the sum of segments per time unit of equal-pitch), 블록의 스트링에서 상승 피치와 하강 피치 트렌드(rising-pitch and falling-pitch trends) 및 상기 스트링블록 내에서 동일한 피치, 상승피치와 하강피칭 트렌드의 세그먼트의 평균길이(the average lengths of segments)를 포함하고, 화법어조 내의 제2 파라미터에서 유일한 화법파라미터, 파라미터 조합 및 조건적인 행동, 심리 또는 화법 형태특성을 계산하는 단계(2050)와; 화법파라미터의 소정 리퍼런스 데이터베이스와 계산된 파라미터를 비교하여 화법어조 내의 조건적인 행동, 심리 또는 화법 형태특성을 판단하고 스코어링하는 단계(2060); 및 상기 판단되고 스코어링된 결과를 출력하는 단계(2070);를 포함한다.The method includes generating (2010) a speech parameter reference database for classifying speech speech tones according to various behavior, psychology, and speech form characteristics; Obtaining (2020) a speech tone of the speaker in predetermined conditions and sentences; A step 2030 of preprocessing the silent speech and the activation method segment and dividing the activation method segment into a string of the same length block; The block having a first speech parameter including a pitch and an amplitude parameter, the method comprising: deriving (2040) a plurality of second speech parameters from the first parameter; The second speech-related parameter may include: a sum of segments per time unit of equal-pitch; rising-pitch and falling-pitch trends in a string of blocks; and The average lengths of segments of the rising pitch and the falling pitching trend within the string block, and the average pitches of the segments in the string block, including the only pitching parameters, parameter combinations and conditional behavior in the second parameter in the speech tone, Calculating (2050) a speech form characteristic; Comparing (2060) the conditional behavior, psychological, or speech form feature characteristics in the speech tones by comparing the calculated parameters with a predetermined reference database of speech speech parameters; And outputting the determined and scored result (2070).

상기 데이터베이스 생성과 유사하게, 본 발명의 실시예에 의하면 다수의 제2 화법파라미터를 도출하는 단계는 리스트로부터 선택된 파라미터에서 부가적으로 관리된다.Similar to the database generation, according to an embodiment of the present invention, deriving a plurality of second speech parameters is additionally managed in the parameters selected from the list.

상기 제2 화법파라미터는, 평균중지길이(average pause length), 시간유닛 당 중지합(sum of pauses per time unit), 짧은 묵언의 평균길이(average length of short silences), 시간유닛 당 짧은 묵언의 합(sum of short silences per time unit), 동일 피치세그먼트의 평균길이(average length of equal pitch segments), 시간유닛 당 동일피치 세그먼트합(sum of equal pitch segments per time unit), 상승피치세그먼트의 평균길이(average length of rising pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of rising pitch segments per time unit), 하강피치세그먼트의 평균길이(average length of falling pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of falling pitch segments per time unit), 동일피치세그먼트 내의 평균진폭분산(average amplitude dispersion within equal pitch segments), 상승피치세그먼트 내의 평균진폭분산(average amplitude dispersion within rising pitch segments), 하강피치세그먼트 내의 평균진폭분산(average amplitude dispersion within falling pitch segments), 시간유닛 당 피치변화와 범위(pitch variance and range per time unit), 시간유닛 당 평균피치경사도(average pitch slope per time unit), 스펙트럼모양의 패턴과 과도시간 화법신호의 스펙트럼 포락선(patterns of spectral shape and spectral envelope of the speech signal over time), 상승 순차의 패턴(patterns of sequential order of rising), 하강과 고도시간의 동일한 피치트렌드(falling and equal pitch trends over time)를 포함한다.The second speech parameter may comprise an average pause length, a sum of pauses per time unit, an average length of short silences, a sum of short moods per unit of time, the average length of the equal pitch segments, the sum of the pitch segments per time unit, the average length of the rising pitch segments, average length of falling pitch segments, average number of rising pitch segments per time unit, average length of falling pitch segments, sum of rising pitch segments per time unit, an average amplitude dispersion within equal pitch segments, an average amplitude dispersion within the rising pitch segment, rising pitch segments, average amplitude dispersion within falling pitch segments, pitch variance and range per time unit, average pitch slope per time unit, time units, spectral shape patterns and spectral envelopes of the speech signal over time, patterns of sequential order of rising, And includes the same pitch trends (falling and equal pitch trends over time).

도3은 본 발명에 의한 구체적인 실시예에 따라 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성을 판단하고, 문장과 주어진 조건에서의 화자의 화법어조를 분석하는 컴퓨터 실행방법의 선택적인 단계를 도시한 높은 단계의 순서도이다.FIG. 3 illustrates an optional step of a computer-implemented method for determining the behavior, psychology, and speech form characteristics of a speaker in a given condition according to a specific embodiment of the present invention and analyzing the speaker's speech tones in sentences and given conditions It is a high-level flowchart.

본 발명에 의한 실시예에 의하면, 본 발명의 분석방법은, 상기 화자의 화법패턴의 인식을 위한 화법파라미터 리퍼런스 데이터베이스 내의 현재 분석된 화자의 미리 획득된(pre-obtained) 화법샘플을 포함하는 단계를 포함하며, 상기 화자의 현재 분석은, 화자의 조건적인 행동, 심리 또는 화법 형태특성을 판단하고 스코어링하는 단계에 정확하게 부가하기 위해, 화자독립 보다 화자종속이 된다(3010).According to the embodiment of the present invention, the analysis method of the present invention includes the step of including a pre-obtained speech sample of the currently analyzed speaker in the speech parameter reference database for recognizing the speech pattern of the speaker And the current analysis of the speaker is speaker dependent rather than speaker independent (3010) in order to add precisely to the step of determining and scoring the conditional behavior, psychology or speech form characteristics of the speaker.

본 발명에 의한 실시예에 의하면, 본 발명의 분석방법은, 각각의 화자의 특성을 판단하고, 조건적인 특성으로부터 화자를 구별하도록, 몇몇 다른 조건에서 동일한 화자를 반복적으로 분석하는 단계; 및 다른 조건에서 반복적이고 공통적인 화법패턴을 추출하는 단계;를 부가하여 포함한다(3020).According to an embodiment of the present invention, the analyzing method of the present invention comprises: repeatedly analyzing the same speaker in several different conditions to determine the characteristics of each speaker and distinguish the speaker from the conditional characteristic; And extracting repetitive and common speech pattern patterns under different conditions (3020).

본 발명에 의한 실시예에 의하면, 본 발명의 분석방법은, 화자의 조건적인 행동, 심리 그리고 화법 형태특성을 판단하고 스코어링하는 단계와 판단하는 단계에 정확하게 부가하기 위해, 조건의 특성으로부터 화자의 현재 감정상태를 구분하도록 화자분석을 통해 감정검출을 이용하는 단계를 부가하여 포함한다(3030).According to the embodiment of the present invention, the analyzing method of the present invention is characterized in that, in order to accurately add to the step of judging and scoring the conditional behavior, the psychology and the speech form characteristics of the speaker and the judging step, (3030) a step of using emotion detection through speaker analysis to classify emotional states.

본 발명에 의한 실시예에 의하면, 본 발명의 분석방법은, 화자의 조건적인 행동, 심리 그리고 화법 형태특성을 스코어링하는 단계와 판단하는 단계에 정확하게 부가하기 위해, 운율적인 화법분석으로 보충적인 음석인식기술을 통해 단어(word)와 내용(content)화법분석을 이용하는 단계를 포함한다(3040).According to the embodiment of the present invention, the analyzing method of the present invention is characterized in that, in order to accurately add to the step of scoring and determining the conditional behavior, the psychology, and the speech form characteristic of the speaker, (3040) using word and content speech analysis techniques.

본 발명에 의한 실시예에 의하면, 본 발명의 분석방법은, 화자의 조건적인 행동, 심리 그리고 화법 형태특성을 판단하고 스코어링하는 단계와 판단하는 단계에 정확하게 부가하기 위해, 화자분석으로 보충적인 화자의 가시적인 분석을 통해 몸짓분석을 이용하는 단계를 부가하여 포함한다(3050).According to the embodiment of the present invention, the analyzing method of the present invention is characterized in that, in order to accurately add to the step of judging, scoring and judging the conditional behavior, the psychology and the speech form characteristic of the speaker, And using a gesture analysis through a visible analysis (3050).

본 발명에 의한 실시예에 의하면, 본 발명의 분석방법은, 화자파라미터 리퍼런스 데이터베이스(the speech parameters reference database)와 분류처리(classifying process)를 개선하기 위해 화자의 행동, 심리 그리고 화법 형태특성의 계속되는 분석을 이용하여 학습-시스템 특징(learning-system features)을 제공하는 단계를 부가하여 포함한다.According to the embodiment of the present invention, the analysis method of the present invention is characterized by continuous analysis of the speaker's behavior, psychology, and speech form characteristics in order to improve the speech parameters reference database and the classifying process And providing learning-system features using the training data.

본 발명에 의한 실시예에 의하면, 본 발명의 분석방법은, 다수의 화자를 포함하는 화법어조(speech utterances)에서, 상기 방법은 다수의 화자음색을 분리하는 단계를 부가하여 포함하고, 상기 방법의 각 동작은 각 화자에 있어서 분리되게 수행된다.According to an embodiment of the present invention, the analysis method of the present invention, in speech utterances comprising a plurality of speakers, further comprises the step of separating a plurality of speaker tones, Each operation is performed separately for each speaker.

도4는 본 발명에 의한 구체적인 실시예에 따라 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성과 문장을 판단하고, 주어진 조건에서의 화자의 화법어조를 분석하는 데이터처리 시스템을 도시한 높은 레벨의 블록다이어그램을 도시한 것이다.FIG. 4 is a block diagram illustrating a data processing system for determining the behavior, psychology and speech form characteristics and sentences of a speaker under a given condition according to a specific embodiment of the present invention, And a block diagram.

상기 시스템은, 화자의 어조를 샘플하고 화자의 샘플된 음성어조를 수신하는 단계 중의 하나로 배열되는 음성입력유닛(4010)과; 상기 입력유닛과 결합되고 음성입력유닛으로부터 음성샘플을 전처리하도록 배열되는 전처리유닛(4020)과; 상기 전처리유닛에 결합되는 메인처리유닛(4030)과; 상기 메인처리유닛과 결합되는 화자리퍼런스 데이터베이스(4050)와 메인 지시기 출력유닛(4040)을 포함한다.The system comprising: a speech input unit (4010) arranged in one of the steps of: sampling a speaker's tone and receiving a speaker's sampled voice tone; A preprocessing unit (4020) coupled to the input unit and arranged to preprocess speech samples from the speech input unit; A main processing unit 4030 coupled to the preprocessing unit; A speaker reference database 4050 and a main indicator output unit 4040 combined with the main processing unit.

동작에서 상기 음성입력유닛(4010)은 소정 조건에서 화자의 샘플된 화법어조와 문장을 샘플하거나 획득하도록 구비되고, 상기 전처리유닛(4020)은 동일 길이의 스트링블록으로 활성 화법세그먼트를 분할하고(dividing) 샘플된 어조(the sampled utterance)를 묵언(silent)과 활성(active) 화법세그먼트(speech segments)로 전처리(pre-processing)하도록 구비된다.In operation, the speech input unit 4010 is provided to sample or obtain the speaker's sampled speech tones and sentences under a predetermined condition, and the preprocessing unit 4020 divides the active speech segment into equal-length string blocks ) To pre-process the sampled utterance into silent and active speech segments.

상기 블록은 피치와 진폭파라미터를 포함하는 제1 화법파라미터를 갖는다. 부가하여 상기 데이터베이스(4050)는, 유일한 제2 화법파라미터와 파라미터의 조합에 따라 행동, 심리 그리고 화법 형태특성에 따라 화법어조를 분류하도록 구비되고, 다수의 선택된 화법파라미터는, 평균중지길이(average pause length), 시간유닛 당 중지합(sum of pauses per time unit), 짧은 묵언의 평균길이(average length of short silences), 시간유닛 당 짧은 묵언의 합(sum of short silences per time unit), 동일 피치세그먼트의 평균길이(average length of equal pitch segments), 시간유닛 당 동일피치 세그먼트합(sum of equal pitch segments per time unit), 상승피치세그먼트의 평균길이(average length of rising pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of rising pitch segments per time unit), 하강피치세그먼트의 평균길이(average length of falling pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of falling pitch segments per time unit), 동일피치세그먼트 내의 평균진폭분산(average amplitude dispersion within equal pitch segments), 상승피치세그먼트 내의 평균진폭분산(average amplitude dispersion within rising pitch segments), 하강피치세그먼트 내의 평균진폭분산(average amplitude dispersion within falling pitch segments), 시간유닛 당 피치변화와 범위(pitch variance and range per time unit), 시간유닛 당 평균피치경사도(average pitch slope per time unit), 스펙트럼모양의 패턴과 과도시간 화법신호의 스펙트럼 포락선(patterns of spectral shape and spectral envelope of the speech signal over time), 상승 순차의 패턴(patterns of sequential order of rising), 하강과 고도시간의 동일한 피치트렌드(falling and equal pitch trends over time)를 포함한다.The block has a first speech parameter including a pitch and an amplitude parameter. In addition, the database 4050 is configured to classify speech tones according to behavior, psychology, and speech form characteristics according to a combination of unique second speech parameters and parameters, and the plurality of selected speech parameters include average pause length length, a sum of pauses per time unit, an average length of short silences, a sum of short silences per time unit, An average length of equal pitch segments per time unit, a sum of equal pitch segments per time unit, an average length of rising pitch segments, The sum of rising pitch segments per time unit, the average length of falling pitch segments, the sum of rising pitch segments per time unit (sum of falling pitch segment per time unit, an average amplitude dispersion within equal pitch segments, an average amplitude dispersion within rising pitch segments, an average amplitude variance within a falling pitch segment (average the pitch variation and range per time unit, the average pitch slope per time unit, the spectral shape pattern and the transient temporal signal (2), (3), (4), and (5). In this paper, we propose a new method for estimating the spectral envelope of speech signal over time. do.

또한 상기 메인처리유닛(4030)은, 상기 제2 화법파라미터를 포함하는 리스트로부터 선택된 현재 분석된 화법어조로부터 다수의 제2 화법파라미터를 도출하는 단계(derive)와; 상기 화법어조에서 상기 제2 파라미터로부터 유일한 파라미터, 파라미터 조합 및 조건적인 행동, 심리 그리고 화법 형태특성의 대표적인 파라미터 값을 계산하는 단계(calculate); 및 제2 화법파라미터의 소정(pre-defined) 리퍼런스 데이터베이스와 상기 계산된 유일한 화법파라미터를 비교하여 화법어조 내의 조건적인 행동, 심리 그리고 화법 형태특성을 스코어링하고 판단하는 단계(determine and score)를 하도록 구비된다. 마지막으로 상기 메인지시기 출력유닛(4040)은 상기 분석결과를 출력하도록 구비된다.The main processing unit 4030 may also include deriving a plurality of second speech parameters from the currently analyzed speech tones selected from the list including the second speech parameters; Calculating from the second parameter a unique parameter, a parameter combination and a representative parameter value of a conditional behavior, a psychology, and a speech form characteristic in the speech tone; And a step of determining and scoring conditional behavior, psychology, and speech form characteristics in the speech tones by comparing the pre-defined reference database of the second speech method parameters with the calculated only speech method parameters do. Finally, the main indicator output unit 4040 is provided to output the analysis result.

본 발명에 의한 실시예에 의하면, 상기 출력유닛(4040)은, 모니터링장치, 인터넷, 로컬 또는 원격장치 또는 컴퓨터, 다른 네트워크, 유선, 무선 또는 셀룰러폰, 컴퓨터 게임, 장난감, 전자휴대장치 또는 전자출력장치와 연결되는 가시적 데이터, 음성데이터, 저장장치, 문자 중의 하나를 포함한다.According to an embodiment of the present invention, the output unit 4040 may be a monitoring device, an Internet, a local or remote device or computer, another network, a wired, wireless or cellular phone, a computer game, a toy, Voice data, a storage device, and characters connected to the device.

본 발명에 의한 실시예에 의하면, 상기 시스템(4000)은, 음성통신시스템, 유선 및 무선 텔리포니 시스템, 셀룰러 통신네트워크, 웹기반 통신시스템(web- based communication system), 음성IP 기반 통신시스템(voice over IP based communication system) 및 콜센터 통신시스템을 포함하는 그룹으로부터 선택되는 통신시스템 내에서 수행된다.According to an embodiment of the present invention, the system 4000 may be implemented in a wireless communication system such as a voice communication system, a wired and wireless telephony system, a cellular communication network, a web-based communication system, over IP based communication system and a call center communication system.

본 발명에 의한 실시예에 의하면, 상기 데이터베이스(4050)는, 화자의 유일한 화법패턴의 인식을 위해 현재 분석된 화자의 화법샘플의 미리 획득된(pre-obtained) 화법샘플을 부가하여 포함하며, 상기 화자의 현재 분석은, 화자의 조건적인 행동, 심리 그리고 화법 형태특성을 스코어링하고 판단하도록 정확하게 부가하도록 독립화자(speaker independent) 보다 종속화자(speaker dependent)가 된다.According to an embodiment of the present invention, the database 4050 includes a pre-obtained speech-method sample of a speech sample of a speaker analyzed at present for recognition of a speech-only pattern, The current analysis of the speaker becomes speaker dependent rather than the speaker independent to add precisely to score and judge the speaker's conditional behavior, psychology, and speech form characteristics.

본 발명에 의한 실시예에 의하면, 상기 시스템(4000)은, 각각의 화자의 특성을 판단하고, 조건적인 특성으로부터 화자를 구별하도록, 몇몇 다른 조건에서 동일한 화자를 반복적으로 분석하고, 다른 조건에서 반복적이고 공통적인 화법패턴을 추출하도록 구비된다.According to an embodiment of the present invention, the system 4000 repeatedly analyzes the same speaker in several different conditions to determine the characteristics of each speaker, to distinguish the speaker from the conditional characteristics, And extract common and common speech pattern patterns.

본 발명에 의한 실시예에 의하면, 상기 시스템(4000)은, 조건적인 특성으로부터 현재 감성상태를 구별하고, 화자의 조건적인 행동, 심리 그리고 화법 형태특성을 스코어링하고 판단하기 위해 정확하게 부가하는 목적을 위해, 화법분석을 통해 감성검출을 이용하도록 구비된다.According to an embodiment of the present invention, the system 4000 can be used to distinguish the current emotional state from the conditional characteristics and to add precisely to score and determine the speaker's conditional behavior, , And emotion detection through speech analysis.

본 발명에 의한 실시예에 의하면, 상기 시스템(4000)은, 화자의 조건적인 행동, 심리 그리고 화법 형태특성을 스코어링하는 단계와 판단하는 단계에 정확하게 부가하기 위해, 운율적인 화법분석으로 보충적인 음석인식기술을 통해 단어와 내용화법분석을 이용한다.According to the embodiment of the present invention, the system 4000 may be configured to perform the steps of scoring and determining the conditional behavior, psychology, and speech form characteristics of the speaker, Technology and vocabulary analysis.

본 발명에 의한 실시예에 의하면, 상기 시스템(4000)은, 화자의 조건적인 행동, 심리 그리고 화법 형태특성을 판단하고 스코어링하는 단계와 판단하는 단계에 정확하게 부가하기 위해, 화자분석으로 보충적인 화자의 가시적인 분석을 통해 몸짓분석을 이용한다.According to the embodiment of the present invention, the system 4000 may be configured to determine the conditional behavior, psychology, and speech form characteristics of the speaker, Use gesture analysis through visual analysis.

본 발명에 의한 실시예에 의하면, 상기 시스템(4000)은, 화자파라미터 리퍼런스 데이터베이스(the speech parameters reference database)와 분류처리(classifying process)를 개선하기 위해 화자의 행동, 심리 그리고 화법 형태특성의 계속되는 분석을 이용하여 학습-시스템 특징(learning-system features)을 제공하도록 구비된다.According to an embodiment of the present invention, the system 4000 includes a continuous analysis of the speaker's behavior, psychology, and speech form characteristics to improve the speech parameters reference database and the classifying process To provide learning-system features.

본 발명에 의한 실시예에 의하면, 상기 시스템(4000)은, 다수의 화자를 포함하는 화법어조(speech utterances)에서, 다수의 화자음색을 분리하도록 부가하여 구비되고, 상기 시스템은 각 화자를 분리되게 분석하도록 구비된다.According to an embodiment of the present invention, the system 4000 is additionally provided in speech utterances comprising a plurality of speakers to separate a plurality of speaker tones, Analysis.

도5는 본 발명에 의한 구체적인 실시예에 따라 주어진 조건에서 화자의 행동, 심리 및 화법 형태특성과 문장을 판단하고, 주어진 조건에서의 화자의 화법어조를 분석하는 장치를 도시한 높은 레벨의 블록다이어그램을 도시한 것이다. 상기 장치(5000)는, 화자의 음성어조를 샘플하고 샘플된 화자의 어조를 획득하도록 구비되는 음성입력유닛(5010)과; 상기 음성입력유닛과 결합되고 상기 음성입력유닛으로부터 음성샘플을 전처리하도록 구비되는 전처리유닛(5020)과; 상기 전처리유닛에 결합되는 메인처리유닛(5030); 및 상기 메인처리유닛과 결합되는 메인지시기 출력유닛(5040)을 포함한다.5 is a block diagram of a high level block diagram illustrating an apparatus for determining the behavior, psychology, and speech form characteristics and sentences of a speaker under given conditions according to a specific embodiment of the present invention, FIG. The apparatus 5000 includes a speech input unit 5010 configured to sample a speech tone of a speaker and obtain a tone of a sampled speaker; A preprocessing unit (5020) coupled to the speech input unit and adapted to preprocess speech samples from the speech input unit; A main processing unit 5030 coupled to the preprocessing unit; And a main indicator output unit 5040 coupled to the main processing unit.

동작에서 상기 음성입력유닛(5010)은 소정 조건에서 화자의 샘플된 화법어조와 문장을 샘플하거나 획득하도록 구비되고, 상기 전처리유닛(5020)은 동일 길이의 스트링블록으로 활성 화법세그먼트를 분할하고(dividing) 샘플된 어조(the sampled utterance)를 묵언(silent)과 활성(active) 화법세그먼트(speech segments)로 전처리(pre-processing)하도록 구비된다.In operation, the speech input unit 5010 is provided to sample or obtain the speaker's sampled speech tones and sentences under predetermined conditions, and the preprocessing unit 5020 divides the active speech segments into equal-length string blocks ) To pre-process the sampled utterance into silent and active speech segments.

상기 블록은 피치와 진폭파라미터를 포함하는 제1 화법파라미터를 갖는다. The block has a first speech parameter including a pitch and an amplitude parameter.

부가하여 상기 장치(5000)는 유일한 제2 화법파라미터와 파라미터의 조합에 따라 행동, 심리 그리고 화법 형태특성에 따라 화법어조를 분류하도록 구비되는 리퍼런스 데이터베이스(5050)와 동작되게 결합되고, 상기 파라미터는 리스트로부터 선택되고, 평균중지길이(average pause length), 시간유닛 당 중지합(sum of pauses per time unit), 짧은 묵언의 평균길이(average length of short silences), 시간유닛 당 짧은 묵언의 합(sum of short silences per time unit), 동일 피치세그먼트의 평균길이(average length of equal pitch segments), 시간유닛 당 동일피치 세그먼트합(sum of equal pitch segments per time unit), 상승피치세그먼트의 평균길이(average length of rising pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of rising pitch segments per time unit), 하강피치세그먼트의 평균길이(average length of falling pitch segments), 시간유닛 당 상승피치세그먼트의 합(sum of falling pitch segments per time unit), 동일피치세그먼트 내의 평균진폭분산(average amplitude dispersion within equal pitch segments), 상승피치세그먼트 내의 평균진폭분산(average amplitude dispersion within rising pitch segments), 하강피치세그먼트 내의 평균진폭분산(average amplitude dispersion within falling pitch segments), 시간유닛 당 피치변화와 범위(pitch variance and range per time unit), 시간유닛 당 평균피치경사도(average pitch slope per time unit), 스펙트럼모양의 패턴과 과도시간 화법신호의 스펙트럼 포락선(patterns of spectral shape and spectral envelope of the speech signal over time), 상승 순차의 패턴(patterns of sequential order of rising), 하강과 고도시간의 동일한 피치트렌드(falling and equal pitch trends over time)를 포함한다.In addition, the device 5000 is operably coupled to a reference database 5050, which is arranged to classify speech tones according to behavior, psychology, and speech form characteristics according to a combination of unique second speech parameters and parameters, And the sum of pauses per time unit, the average length of short silences, and the sum of short silences per unit of time. the average length of equal pitch segments, the sum of the pitch segments per time unit, and the average length of the pitch segments. rising pitch segments, a sum of rising pitch segments per time unit, an average length of falling pitch segments, s, the sum of falling pitch segments per time unit, the average amplitude dispersion within equal pitch segments, the average amplitude dispersion within the rising pitch segment, within pitch segments, average amplitude dispersion within falling pitch segments, pitch variance and range per time unit, average pitch slope per time unit, the time-varying time-per-unit, the spectral shape and the spectral envelope of the speech signal over time, the patterns of the sequential order of rising, And the same pitch trend over time.

상기 메인처리유닛(5030)은, 상기 제2 화법파라미터를 포함하는 리스트로부터 선택된 현재 분석된 화법어조로부터 다수의 제2 화법파라미터를 도출하도록 구비된다. 그리고 상기 메인처리유닛(5030)은, 상기 화법어조에서 상기 제2 파라미터로부터 유일한 파라미터, 파라미터 조합 및 조건적인 행동, 심리 그리고 화법 형태특성의 대표적인 파라미터 값을 계산하도록 구비된다. 또한 상기 메인처리유닛(5030)은, 화법파라미터의 소정(pre-defined) 리퍼런스 데이터베이스와 상기 계산된 화법파라미터를 비교하여 화법어조 내의 조건적인 행동, 심리 그리고 화법 형태특성을 스코어하고 판단하는 단계(determine and score)를 하도록 구비된다. 마지막으로 상기 메인지시기 유닛(5040)은 상기 분석결과를 출력하도록 구비된다.The main processing unit 5030 is provided to derive a plurality of second speech parameters from the currently analyzed speech tones selected from the list including the second speech parameters. The main processing unit 5030 is provided to calculate representative parameter values of the parameters, parameter combinations, and conditional behavior, psychology, and speech format characteristics from the second parameter in the speech tone. The main processing unit 5030 further includes a step of comparing the pre-defined reference database of speech parameters with the calculated speech parameters to score and determine conditional behavior, psychology, and speech format characteristics in speech speech tones and score. Finally, the main indicator unit 5040 is provided to output the analysis result.

본 발명의 실시예에 의하면 상기 장치(5000)는, 셀프-피드백(self-feedback, self- awareness), 엔터테인먼트(entertainment), 자기인식(self- awareness), 행동 트레이닝(behavioral training), 세일즈 강화(sales enhancement), 고객서비스강화(customer service enhancement), 고객과 비즈니스 인텔리전스(customer and business intelligence), 방어와 보안 어플리케이션(defense and security applications), 비즈니스협상(business negotiation), 광고(advertising), 매치메이킹(match-making), 데이팅(dating), 레크리에이션(recreation), 게이밍(gaming), 장난감(toys), 카운셀링(counseling), 인력자원어플리케이션(human-resources applications), 경영트레이닝(executive training), 종업원과 직업훈련(employee and vocational training), 심리적이고 교육적인 어플리케이션(psychological and educational applications), 및 의학어플리케이션(medical applications) 중의 하나 이상으로 구비된다.According to an embodiment of the present invention, the apparatus 5000 may be adapted to perform at least one of self-feedback, self-awareness, entertainment, self-awareness, behavioral training, sales enhancement, customer service enhancement, customer and business intelligence, defense and security applications, business negotiation, advertising, matchmaking match-making, dating, recreation, gaming, toys, counseling, human-resources applications, executive training, But are not limited to, one or more of employee and vocational training, psychological and educational applications, and medical applications. It is rain.

본 발명의 실시예에 의하면 상기 장치(5000)는, 음성통신장치(a voice communication device), 유선 또는 무선 음성장치(a wired or wireless voice device), 셀룰러 통신장치(a cellular communication device), 네트워크 개인휴대장치(a networked personal device accessory (PDA)), 비네트워크 PDA(a non- networked PDA), 음성레코딩장치(a voice recording device),개인컴퓨터 및 서버를 포함하는 리스트로부터 선택된다.According to an embodiment of the present invention, the device 5000 may be a voice communication device, a wired or wireless voice device, a cellular communication device, A networked personal device accessory (PDA), a non-networked personal digital assistant (PDA), a voice recording device, a personal computer, and a server.

본 발명의 실시예에 의하면 상기 출력유닛(5040)은, 모니터링장치, 인터넷, 로컬 또는 원격장치 또는 컴퓨터, 다른 네트워크, 유선, 무선 또는 셀룰러폰, 컴퓨터 게임, 장난감, 전자휴대장치 또는 전자출력장치와 연결되는 가시적 데이터, 음성데이터, 저장장치, 문자 중의 하나를 포함한다.
According to an embodiment of the present invention, the output unit 5040 may be a monitoring device, an Internet, a local or remote device or computer, another network, a wired, wireless or cellular phone, a computer game, a toy, Visual data to be connected, voice data, a storage device, and one of the characters.

본 발명의 구체적인 실시예에 의하면 처리 시스템 및 컴퓨터 프로그램제품이 유선 또는 무선 통신시스템에서 수행될 수 있다. 특히 본 발명은 셀룰러 통신시스템 내에서 실행될 수 있다. 본 발명은 리얼타임 환경에서 또는 오프라인 화법 분석시스템과 같은 환경에서 동작하도록 몇몇 실시예에서 구축될 수 있다.According to a specific embodiment of the present invention, a processing system and a computer program product may be implemented in a wired or wireless communication system. In particular, the invention may be practiced within a cellular communication system. The present invention may be constructed in some embodiments to operate in a real-time environment or in an environment such as an offline method analysis system.

몇몇 실시예에 의하면 본 발명은 다수의 구성으로 실행될 수 있다. 예를 들어 중앙의 물리적 위치에서 셀룰러 사용자(a cellular operator)의 중앙서버를 통해 통과하는 전화통화의 음성데이터의 단계를 수행하는 중앙분석 모듈을 제공할 수 있다.According to some embodiments, the present invention can be implemented in a number of configurations. For example, a central analysis module may be provided that performs steps of voice data of a telephone conversation that passes through a central server of a cellular operator at a central physical location.

다른 구체적인 실시예에 의하면 본 발명은 화법전기통신장치(a speech telecommunication device)와 같은 통신장치 내의 소프트웨어 또는 하드웨어가 탑재되는 독립모듈로 수행될 수 있다. 예를 들어 소정 최종 사용자 셀룰러폰 장치를 통해 통과하는 전화통화의 음성데이터의 단계를 수행하는 분석모듈을 제공할 수 있다.According to another specific embodiment, the invention may be practiced with an independent module in which software or hardware is installed in a communication device, such as a speech telecommunication device. For example, an analysis module may be provided that performs steps of voice data of a phone call that passes through a given end-user cellular telephone device.

선택적으로 구체적인 실시예는, 셀프-피드백(self-feedback, self- awareness), 엔터테인먼트(entertainment), 자기인식(self- awareness), 행동 트레이닝(behavioral training), 세일즈 강화(sales enhancement), 고객서비스강화(customer service enhancement), 고객과 비즈니스 인텔리전스(customer and business intelligence), 방어와 보안 어플리케이션(defense and security applications), 비즈니스협상(business negotiation), 광고(advertising), 매치메이킹(match-making), 데이팅(dating), 레크리에이션(recreation), 게이밍(gaming), 장난감(toys), 카운셀링(counseling), 인력자원어플리케이션(human-resources applications), 경영트레이닝(executive training), 종업원과 직업훈련(employee and vocational training), 심리적이고 교육적인 어플리케이션(psychological and educational applications), 및 의학어플리케이션(medical applications)에서 대화에서 화자 중의 한 사람을 분석하는데 한정하지 않으며 두 사람 모두 분석할 수 있다.Optionally, specific embodiments may be implemented in the form of self-feedback, self-awareness, entertainment, self-awareness, behavioral training, sales enhancement, including customer service enhancement, customer and business intelligence, defense and security applications, business negotiation, advertising, match-making, recreation, gaming, toys, counseling, human-resources applications, executive training, employee and vocational training, , In psychological and educational applications, and in medical applications. It is not limited to analysis, and both people can analyze it.

본 발명의 구체적인 실시예에 의하면 컴퓨터 실행방법, 데이터처리 시스템, 장치 및 컴퓨터 프로그램 제품은 서비스, 판매, 고객관리, 훈련 또는 다른 목적을 위해 고객센터 또는 고객상담센터에서의 실시간 또는 오프라인 화법 분석에서 수행될 수 있다.
In accordance with a specific embodiment of the present invention, a computer-implemented method, a data processing system, a device and a computer program product perform in real-time or offline analysis of a method at a customer center or customer center for service, sales, customer management, training or other purposes .

본 발명의 몇몇 실시예에서 상술한 목적을 달성하기 위해 본 발명은 대화자 중의 한 사람 또는 두사람 분석에서 유선전화통신의 실시간 및 오프라인 화법분석을 제공한다.In some embodiments of the present invention, in order to achieve the above-mentioned object, the present invention provides a real-time and offline analysis of wireline communication in one or both of the talkers analysis.

본 발명의 실시예에 의하면, 본 발명은 상술한 목적을 달성하기 위해 당사자 중의 한 사람 또는 두 사람 분석에서 웹 기반 대화에서 실시간과 오프라인 화법분석을 제공한다.According to an embodiment of the present invention, the present invention provides real-time and offline analysis of a web-based dialogue in one or both of the parties in order to achieve the above-mentioned object.

본 발명의 실시예에 의하면, 본 발명은 상술한 목적을 달성하기 위해 당사자 중의 한 사람 또는 두 사람 분석에서 마주하는 대화에서 실시간과 오프라인 화법분석을 제공한다.According to an embodiment of the present invention, the present invention provides a real-time and offline analysis method in a conversation facing one or both of the parties in order to achieve the above-mentioned object.

본 발명의 실시예에 의하면, 본 발명은 상술한 목적을 달성하기 위해 당사자 중의 한 사람 또는 두 사람 분석에서 레코드된 화법, 대화, 셀프화법(self-speech) 또는 청중 앞에서의 화법의 실시간과 오프라인 화법 분석을 제공한다.According to an embodiment of the present invention, in order to achieve the above-mentioned object, the present invention provides a method for realizing a real-time and offline method of speech, conversation, self-speech recorded in an analysis of one or two parties, Analysis.

사람들의 의사소통, 심리적, 개인적 그리고 행동특성의 평가는 다양한 이유로 매운 중요함을 제공한다. 먼저 화자 자신에 대한 평가데이터를 제공하며, 인식(awareness), 개발(development) 및 다른 학습목적(different learning purposes)을 유도한다. 또한 개인적, 상업적, 교육적, 직업적, 의학적 및 심리적 등과 같은 다양한 목적을 위해 화자에 대해 학습하고, 그를 돕고, 그와 보다 나은 소통을 원하는 원하는 다른 사람들에 배우 중요하다.Assessment of people's communication, psychological, personal and behavioral characteristics provides spicy significance for a variety of reasons. First, it provides assessment data about the speaker himself, and induces awareness, development, and different learning purposes. It is also important to learn about the speaker for a variety of purposes, such as personal, commercial, educational, professional, medical, and psychological, and to learn about others who want to help him and to communicate better with him.

본 발명의 다른 실시예에 의하면, 상기 시스템은 디지털 전자회로 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 그들의 조합에서 수행될 수 있다According to another embodiment of the present invention, the system may be implemented in digital electronic circuitry or computer hardware, firmware, software or a combination thereof

본 발명은 데이터저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치에서 데이터와 명령을 전송하여 데이터와 명령을 수신하도록 결합되는 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행가능한 하나 또는 그 이상의 컴퓨터 프로그램에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과를 가져오거나 소정 동작을 수행하는 컴퓨터 내에서 직접 또는 간접적으로 이용될 수 있는 명령어 집합이다. 컴퓨터 프로그램은 컴파일 또는 해석된 언어를 포함하는 프로그램 언어형태로 쓰여질 수 있고, 컴퓨팅 환경에서 사용을 위해 독자 프로그램 또는 모듈, 또는 컴포넌트, 서브루틴 또는 다른 적절한 유닛을 포함하는 다른 형태로 배치될 수 있다.The present invention relates to a data storage system, at least one input device, and at least one output device, comprising at least one programmable processor coupled to receive data and instructions to transmit data and instructions, It can be executed in a further computer program. A computer program is a set of instructions that can be used directly or indirectly within a computer to obtain a predetermined result or perform certain operations. A computer program may be written in the form of a program language, including a compiled or interpreted language, and may be in the form of a stand-alone program or module for use in a computing environment, or other form including a component, subroutine, or other appropriate unit.

프로그램 명령의 실행을 위해 적절한 프로세서는 디지털 신호프로세서, 일반적인 프로세서, 단일 프로세서 또는 다중 프로세서를 포함할 수 있다. 일반적으로 프로세서는 리드 오운리 메모리(a read-only memory) 또는 (a random access memory) 또는 두 메모리로부터 명령과 데이터를 수신할 것이다. 상기 컴퓨터의 필수적인 장치는 명령어와 데이터를 저장하기 위한 하나 또는 그 이상의 메모리와 명령어를 실행하는 프로세서이다. 일반적으로 컴퓨터는 데이터 파일을 저장하는 하나 또는 그 이상의 저장장치를 포함하며 서로 통신하도록 동작되게 결합한다. 상기 장치는 내부 하드디스크와 탈착가능한 디스크와 같은 자기디스크, 자기광학디스크 및 광학디스크를 포함한다. 컴퓨터 프로그램 명령어와 데이터를 탑재하는데 적합한 저장장치는 EPROM, EEPROM 과 플래시 메모리 장치와 같은 반도체 메모리 장치와, 내부 하드디스크와 탈착가능한 디스크와 같은 자기디스크와, CD-ROM 및 DVD-ROM 디스크 방식의 모든 비휘발성 메모리의 모든 방식을 포함한다. 상기 프로세서와 메모리는 ASICs(application-specific integrated circuits)으로 제공되거나 조합될 수 있다.Suitable processors for execution of program instructions may include a digital signal processor, a general processor, a single processor, or multiple processors. Generally, a processor will receive commands and data from either a read-only memory or a random access memory. An essential device of the computer is a processor that executes one or more memories and instructions for storing instructions and data. Generally, a computer includes one or more storage devices for storing data files and is operatively coupled to communicate with one another. The apparatus includes a magnetic disk such as an internal hard disk and a removable disk, a magneto-optical disk, and an optical disk. Storage devices suitable for mounting computer program instructions and data include semiconductor memory devices such as EPROM, EEPROM, and flash memory devices, magnetic disks such as internal hard disks and removable disks, and all of the CD-ROM and DVD- It includes all the ways of non-volatile memory. The processor and the memory may be provided or combined in ASICs (application-specific integrated circuits).

상술한 설명에서 구체적인 실시예는 본 발명의 하나의 예 또는 바람직한 예이다. "하나의 구체적인 실시예", "구체적인 실시예" 또는 "몇몇 구체적인 실시예"의 여러가지 표현은 동일한 실시예를 반드시 참조하는 것은 아니다.In the foregoing description, specific embodiments are examples or preferred examples of the present invention. The various representations of "one specific embodiment "," specific embodiment ", or "some specific embodiments"

본 발명의 다양한 특징이 단일 구체적인 실시예 문장에서 설명될 수 있지만 그 특징은 적절한 조합과 분리로 설명될 수 있다. 반대로 본 발명이 명확성을 위해 실시예를 분리해서 설명하였지만, 본 발명은 단일 실시예로 실행될 수도 있다.While various features of the invention may be described in a single specific embodiment statement, the features may be described in terms of a suitable combination and separation. On the contrary, while the present invention has been described by way of example for clarity, the present invention may be practiced as a single embodiment.

"몇몇 실시예", "하나의 실시예", "실시예" 또는 "다른 실시예"는 본 발명의 모든 실시예는 아니지만 몇몇 실시예에 포함되는 구체적인 실시예와 결합되어 설명되는 소정 특징, 구조 또는 조합을 의미한다."Some embodiments," " one embodiment, "" an embodiment, "or & Or combinations thereof.

어법(phraseology)과 용어(terminology)는 한정되는 것은 아니며 단지 목적을 설명하기 위해 쓰인 것이다.Phraseology and terminology are not intended to be limiting, but merely to illustrate the purpose.

본 발명의 기술적 사상과 이용은 구체적인 설명, 도면 및 실시예가 참조되어 보다 바람직하게 이해될 수 있다. 본 발명의 구체적인 설명은 출원된 본 발명을 한정하지는 않는다.The technical idea and use of the present invention can be more preferably understood by reference to the specific description, drawings and embodiments. The detailed description of the invention does not limit the claimed invention.

본 발명은 다양한 방법으로 수행되거나 실행될 수 있고 본 발명은 상술한 설명에서 설명된 것보다 다른 실시예로 실행될 수 있다.The invention may be carried out or carried out in various ways and the invention may be practiced in other embodiments than those described in the foregoing description.

본 명세서에서 용어 "포함(including)", "포함하여 이루어짐(comprising)", "구성되는(consisting)" 및 용어의 문법적인 변형은 하나 이상의 구성요소, 특징, 단계 또는 정수(integers) 또는 그룹의 하나 이상의 추가를 용인하며, 용어는 구성요소, 특징, 단계 또는 정수(integers)를 구체화하는 개념이 될 수 있다.As used herein, the terms " including, "" comprising, "" consisting of, " and grammatical variations of the term include the use of one or more components, features, Permits one or more additions, and the term may be a concept embodying a component, feature, step, or integers.

발명의 상세한 설명 또는 특허청구범위가 "부가적인" 요소를 참조하면, 그것은 부가적인 요소 중의 하나 보다 더 많아질 수 있다.When the specification or claims refer to "additional" elements, it may be more than one of the additional elements.

특허청구범위 또는 발명의 상세한 설명은 "한(a)" 또는 "하나의(an)" 구성요소를 참조하며, 각 참조는 오직 하나의 구성요소만을 참조하는 개념은 아니라는 것으로 이해된다.It is understood that the claims or the detailed description of the invention refers to "a" or "an" components, and that each reference is not a concept referring to only one component.

발명의 상세한 설명은, 구성요소, 특징, 구조 또는 특성이 "(~해도)may", "(~일지도 )might", "(~할 수 있다)can" 또는 "할 수 있었다(could)"가 포함되는 문장은 특히 구성요소, 구조, 또는 특성이 포함되지만 반드시 필요한 것은 아니다라는 의미로 이해된다.DETAILED DESCRIPTION OF THE INVENTION It is to be understood that the detailed description of the invention does not imply that an element, feature, structure, or characteristic may be referred to as being "may", "might", " It is to be understood that the phrase includes, but is not limited to, a component, structure, or characteristic.

상태 다이어그램, 순서 다이어그램 또는 두 가지는 구체적인 실시예를 설명하기 위해 이용되고 본 발명은 상기 다이어그램 또는 대응 설명에 한정하지 않는다. 예를 들면 순서는 도시된 박스 또는 상태를 통해 이동할 필요는 없고, 도시되고 설명된 것과 같이 정확하게 동일한 순서로 이동할 필요도 없다.State diagrams, sequence diagrams, or both are used to illustrate specific embodiments, and the present invention is not limited to the diagrams or corresponding descriptions. For example, the order does not need to move through the boxes or states shown, nor does it need to move in exactly the same order as shown and described.

본 발명에 의한 방법은 수동으로, 자동으로 또는 그 조합으로 완성되거나 수행되는 것에 의해 실시될 수 있다.The method according to the present invention can be carried out by being completed or performed manually, automatically, or a combination thereof.

상기 용어 "방법"은, 주어진 목적을 달성하기 위하여 방식, 수단, 기술 및 처리를 참조할 수 있으며, 방식, 수단, 기술 및 처리를 한정하지는 않으며, 본 발명이 속하는 기술분야의 전문가에 의한 알려진 방식, 수단, 기술 및 처리가 용이하게 개발될 수 있다.The term "method" may refer to a method, means, technique and process for achieving a given purpose, and does not limit the manner, means, technique, and process, , Means, techniques and processes can be readily developed.

본 발명의 특허청구범위에 기재된 발명의 상세한 설명, 실시예, 방법 및 재료는 한정된 것이 아니고 오히려 보다 구체적으로 설명하기 위한 것이다.The detailed description, examples, methods, and materials of the invention set forth in the appended claims are not intended to be limiting, but rather to illustrate them more specifically.

본 명세서에 기재된 기술적인 수단과 공학적인 용어는 본 발명이 속하는 기술분야의 통상의 지식을 가진자 중의 한 사람에 의해 일반적으로 이용될 수 있는 것이고, 그렇지 않은 것은 정의된 것이다.The technical means and engineering terms used herein are those that can be generally used by one of ordinary skill in the art to which this invention belongs, and those that are not.

본 발명은 본 발명의 상세한 설명과 동일하거나 유사한 방법과 재료를 갖는 시험과 실시예에서 수행될 수 있다.The invention may be carried out in tests and examples having methods and materials which are the same as or similar to the description of the invention.

본 명세서에서 참조되거나 설명된 특허, 특허출원 및 관련 기사를 포함하는 공개자료는, 각각의 공개자료가 구체적으로 본 명세서에 기재된 것과 같은 정도로 본 명세서에 병합된다. 또한 본 발명의 구체적인 실시예에 기재된 인용된 자료 또는 명백한 자료는, 상기 자료가 본 발명 이전의 기술로 이용될 수 있을 정도가 아니어도 된다.Published materials, including patents, patent applications and related articles referred to or described herein, are incorporated herein to the extent that each disclosure material is specifically as described herein. Also, cited data or explicit data set forth in the specific embodiments of the present invention need not be such that the data can be used as a technique prior to the present invention.

참고로 본 발명의 구체적인 실시예는 여러가지 실시 가능한 예 중에서 당업자의 이해를 돕기 위하여 가장 바람직한 실시예를 선정하여 제시한 것일 뿐, 본 발명의 기술적 사상이 반드시 이 실시예에만 의해서 한정되거나 제한되는 것은 아니고, 본발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 부가 및 변경이 가능함은 물론, 균등한 타의 실시예가 가능함을 밝혀 둔다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to be illustrative, It will be understood by those skilled in the art that various changes, additions and modifications may be made without departing from the spirit and scope of the invention as defined in the appended claims.

Claims

1. A computer-implemented method for generating a speech parameters reference database for classifying speech utterances according to various behavioral, psychological and speech characteristics, the method comprising:
Manually selecting a predetermined speaking context;
Manually selecting various behavioral, psychological, and speech form features analyzed in the selected sentence;
Obtaining a plurality of speech tone of a person in the selected sentence;
Grouping the speech tones into groups representing similar behavior, psychology, and speech features;
Pre-processing each speech tone in a group of tones that exhibits similar behavior, psychology, and speech characteristics to silent and active speech segments;
Dividing the active segment into a string block of equal length;
The block having a first speech parameter including a pitch and an amplitude parameter,
Deriving a plurality of second speech parameters from the first speech parameter; And
The plurality of selected speech parameters may include a sum of segments per time unit of equal-pitch, rising-pitch and falling-pitch trends in a string of blocks, And one of the average lengths of segments of the same pitch, rising pitch and falling pitching trend in the string block,
And determining a second unique speech parameter, a parameter combination, and a parameter value common to each group of the tones from the second speech parameter,
Wherein said unique second pronunciation parameters represent general behavior, psychological or speech form characteristics of each group. &Lt; Desc / Clms Page number 21 >

The method according to claim 1,
The derived plurality of second speech parameters may include an average pause length, a sum of pauses per time unit, an average length of short silences, a short per time unit, A sum of short pitches, a sum of short pitches, an average length of equal pitch segments, a sum of equal pitch segments per time unit, Average length of falling pitch segments, a sum of rising pitch segments per time unit, an average length of falling pitch segments, an increasing pitch per time unit, The average amplitude dispersion within equal pitch segments, the average amplitude disp in the rising pitch segment, and the average amplitude disp the pitch variation and range per time unit, the average pitch per time unit, and the average pitch of the pitch segments. the slope per time unit, the spectral shape pattern and the spectral envelope of the speech signal over time, the patterns of sequential order of rising, Wherein the one or more parameters include one of falling and equal pitch trends over time.

The method according to claim 1,
A method of analyzing a speech tone of a speaker in a given condition and a sentence and determining a behavior, a psychology, and a speech style characteristic of the speaker under a given condition,
A computer-implemented method for analyzing a speech tone of a speaker in a given condition and a sentence and determining a behavior, a psychology, and a speech style characteristic of the speaker under a given condition,
Generating a speech parameter reference database for classifying speech speech tones according to various behavior, psychological, and speech form morphological characteristics;
Obtaining a speech tone of a speaker in a predetermined condition and a sentence;
Preprocessing the acquired speech tones with silence and an activation method segment and dividing the activation method segment into a string of the same length block;
The block having a first speech parameter including a pitch and an amplitude parameter,
Deriving a plurality of second speech parameters from the first speech parameter;
Wherein the plurality of selected speech-
The rising pitch and the falling pitch trends in the string of blocks, and the same pitch in the string block, , One of the average lengths of segments of the rising pitch and the falling pitching trend,
Calculating a unique speech parameter, a parameter combination, and a conditional behavior, psychological or speech form characteristic in a second speech parameter in a speech tone;
Determining and scoring conditional behavioral, psychological, or speech form feature characteristics in the speech tones by comparing the calculated parameters with a predetermined reference database of speech speech parameters; And
And outputting the determined and scored result. &Lt; Desc / Clms Page number 19 >

The method of claim 3,
The derived plurality of second speech parameters may include an average pause length, a sum of pauses per time unit, an average length of short silences, a short per time unit, A sum of short pitches, a sum of short pitches, an average length of equal pitch segments, a sum of equal pitch segments per time unit, Average length of falling pitch segments, a sum of rising pitch segments per time unit, an average length of falling pitch segments, an increasing pitch per time unit, The average amplitude dispersion within equal pitch segments, the average amplitude disp in the rising pitch segment, and the average amplitude disp the pitch variation and range per time unit, the average pitch per time unit, and the average pitch of the pitch segments. the slope per time unit, the spectral shape pattern and the spectral envelope of the speech signal over time, the patterns of sequential order of rising, Wherein the one or more parameters include one of falling and equal pitch trends over time.

delete

5. The method of claim 4,
Comprising a pre-obtained speech sample of a currently analyzed speaker in a speech method parameter reference database for recognition of a speech pattern of the speaker,
Wherein the current analysis of the speaker is performed by a computer that generates a speech parameter reference database characterized by being speaker dependent rather than speaker independent to precisely add to the step of determining and scoring a speech conditional behavior, Way.

5. The method of claim 4,
Repeatedly analyzing the same speaker in several different conditions to determine the characteristics of each speaker and to distinguish the speaker from the conditional characteristic; And extracting repetitive and common speech pattern patterns under different conditions. &Lt; Desc / Clms Page number 20 >

5. The method of claim 4,
In order to add precisely to the step of judging and scoring the conditional behavior of the speaker, the psychology,
Further comprising the step of using emotion detection through speaker analysis to distinguish the current emotional state of the speaker from the characteristics of the condition. &Lt; Desc / Clms Page number 19 >

5. The method of claim 4,
In order to add precisely to the steps of scoring and judging the conditional behavior, psychology and speech form characteristics of the speaker,
Using a word and content analysis method through a supplementary speech recognition technique with a prosodic speech analysis. &Lt; RTI ID = 0.0 > 8. < / RTI >

5. The method of claim 4,
In order to add precisely to the step of judging and scoring the conditional behavior of the speaker, the psychology,
Further comprising using a gesture analysis through a visual analysis of a supplementary speaker by speaker analysis. &Lt; Desc / Clms Page number 13 >

5. The method of claim 4,
Providing learning-system features using a continuous analysis of speaker behavior, psychology, and speech form characteristics to improve the speech parameters reference database and classifying process And a step of generating a speech parameter reference database.

5. The method of claim 4,
In speech utterances involving a plurality of speakers, the method further comprises separating a plurality of speaker tones, wherein each operation of the method is carried out separately in each speaker. A computer-implemented method of creating a parameter reference database.

A data processing system for analyzing a speech tone of a speaker in a given condition and sentence and determining a conditional behavior, a psychology, and a speech form characteristic of the speaker under a given condition,
The system comprises:
A voice input unit arranged in one of steps of: sampling a tone of the speaker and receiving a sampled voice tone of the speaker;
A preprocessing unit coupled to the input unit and arranged to preprocess speech samples from the speech input unit;
A main processing unit coupled to the preprocessing unit;
A speaker reference database coupled with the main processing unit and an output unit,
The preprocessing unit divides the active segment into the same length string block and pre-processes the sampled utterance with silent and active speech segments. ),
The block having a first speech parameter including a pitch and an amplitude parameter,
The database includes:
And is arranged to classify the speech tone according to the behavior, the psychology, and the speech form characteristic according to the combination of the only second speech method parameter and the parameter,
The plurality of selected speech-
The average pause length, the sum of pauses per time unit, the average length of short silences, the sum of short silences per time unit, unit, an average length of equal pitch segments, a sum of equal pitch segments per time unit, an average length of rising pitch segments, The sum of the rising pitch segments per time unit, the average length of the falling pitch segments, the sum of the falling pitch segments per time unit, time unit, an average amplitude dispersion within the same pitch segment, an average amplitude dispersion within the rising pitch segment, The average amplitude dispersion within the segment, the pitch variation and range per time unit, the average pitch slope per time unit, Patterns and spectral envelopes of the speech signal over time, patterns of sequential order of rising, falling and equal pitches of falling and elevation times, pitch trend over time,
The main processing unit,
Derive a plurality of second speech parameters from the currently analyzed speech tones selected from the list comprising the second speech parameters;
Calculating a unique parameter, a parameter combination, and a representative parameter value of a conditional behavior, a psychology, and a speech form characteristic from the second speech-related parameter in the speech tone;
The predetermined reference database of the second speech method parameter is compared with the calculated only speech method parameter to score and determine the conditional behavior, psychological and speech form characteristics in speech speech tones,
The output unit is adapted to output the analysis result,
The system is adapted to use emotional detection through speech analysis for the purpose of distinguishing the current emotional state from the conditional characteristic and adding it precisely to score and determine the speaker's conditional behavior, And a data processing system for determining a conditional behavior, a psychology, and a speech form characteristic characteristic of the speaker.

14. The method of claim 13,
The output unit may be any of a variety of devices, such as a monitoring device, the Internet, local or remote devices or computers, other networks, wired, wireless or cellular phones, computer games, toys, , And one of the characters. The data processing system according to claim 1, further comprising:

14. The method of claim 13,
The system includes a voice communication system, a wired and wireless telephony system, a cellular communication network, a web-based communication system, a voice over IP based communication system, and a call center communication system Wherein the speech processing is performed in a communication system selected from the group consisting of speech, speech, and speech.

14. The method of claim 13,
The system may be adapted to perform various types of services such as self-feedback, self-awareness, self-awareness, entertainment, behavioral training, sales enhancement, enhancement, customer and business intelligence, defense and security applications, business negotiation, advertising, match-making, dating, (Eg, recreation, gaming, toys, counseling, human-resources applications, executive training, employee and vocational training, psychological For use for a number of uses, including one or more of medical, psychological and educational applications, and medical applications. Wherein the speech processing unit is configured to determine a conditional behavior, a psychology, and a speech form characteristic of the speaker.

14. The method of claim 13,
The database includes a pre-obtained speech sample of a speech sample of a currently analyzed speaker for recognition of a speaker's unique speech pattern,
The present analysis of the speaker is based on the conditional behavior of the speaker, characterized by being speaker dependent rather than speaker independent to accurately add to the speaker's conditional behavior, , Psychology, and speech form characteristics.

14. The method of claim 13,
The system is characterized in that it is configured to repeatedly analyze the same speaker under several different conditions to determine the characteristics of each speaker and distinguish the speaker from the conditional characteristics and to extract repetitive and common speech pattern patterns under different conditions A data processing system for determining a conditional behavior, a psychology, and a speech form characteristic of a speaker.

delete