KR102191425B1

KR102191425B1 - Apparatus and method for learning foreign language based on interactive character

Info

Publication number: KR102191425B1
Application number: KR1020130089650A
Authority: KR
Inventors: 정의석; 이윤근; 전형배; 오유리; 이윤경
Original assignee: 한국전자통신연구원
Priority date: 2013-07-29
Filing date: 2013-07-29
Publication date: 2020-12-15
Anticipated expiration: 2033-07-29
Also published as: KR20150014236A; JP2015026057A

Abstract

인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법을 공개한다. 본 발명은 학습자가 평상시에 사용하는 언어로 기설정된 생활 언어 및 학습 대상 언어 중 하나로 학습자가 발화하는 음성 입력을 수신하고, 합성음 및 학습 평가 결과 중 적어도 하나를 출력하는 입출력부, 음성 입력을 인가받아 음성 인식을 수행하여 음성 인식 결과 텍스트를 출력하는 음성 인식부, 음성 인식 결과 텍스트를 수신하여 음성 인식 결과 텍스트의 오류를 교정하고 유사 문장을 생성하는 문장 분석 및 교정부, 문장 분석 및 교정부에서 오류가 교정된 음성 인식 결과 텍스트의 언어와 출력 언어가 서로 상이한 경우, 음성 인식 결과 텍스트를 출력 언어에 대응하여 자동 번역하여 자동 번역 텍스트를 생성하는 다국어 자동 번역 모듈, 오류 교정된 음성 인식 결과 텍스트 및 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 텍스트에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 입출력부로 출력하는 다국어 음성 합성 모듈 및 학습자의 언어 사용 능력을 평가하고, 평가 결과를 입출력부로 출력하는 학습 평가부를 포함한다.An interactive character-based foreign language learning device and method will be disclosed. The present invention receives a speech input uttered by a learner in one of a living language and a language to be learned as a language that the learner uses in everyday life, an input/output unit for outputting at least one of a synthesized sound and a learning evaluation result, and receiving a speech input. A speech recognition unit that performs speech recognition and outputs the speech recognition result text, a sentence analysis and correction unit that corrects errors in the speech recognition result text by receiving the speech recognition result text and generates similar sentences, and an error in the sentence analysis and correction unit When the language of the corrected speech recognition result text and the output language are different from each other, a multilingual automatic translation module that automatically translates the speech recognition result text in response to the output language to generate an automatic translation text, error-corrected speech recognition result text and automatic A multilingual speech synthesis module that receives at least one of the translated texts, synthesizes the voice corresponding to the received text according to the characteristics of a preset interactive character, and outputs the synthesized sound to the input/output unit, and evaluates the learner's ability to use language, and evaluates the evaluation result. It includes a learning evaluation unit that is output to the input/output unit.

Description

Interactive character-based foreign language learning device and method {APPARATUS AND METHOD FOR LEARNING FOREIGN LANGUAGE BASED ON INTERACTIVE CHARACTER}

본 발명은 외국어 학습 장치 및 방법에 관한 것으로, 특히 인터랙티브 캐릭터를 통해 사용자의 모국어 발화를 음성 인식하여 번역하여 외국어 발성음을 출력할 뿐만 아니라, 사용자의 외국어 발화를 음성 인식하여 오류 교정 및 발음/언어 평가를 사용자에게 피드백할 수 있는 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법에 관한 것이다.
The present invention relates to a foreign language learning apparatus and method, and in particular, speech recognition of a user's native language utterance through an interactive character and translation to output a foreign language utterance, as well as error correction and pronunciation/language by voice recognition of the user's foreign language utterance. It relates to an interactive character-based foreign language learning apparatus and method that can feedback evaluation to a user.

현대 사회에서 외국어 활용 능력은 매우 중요하다. 기존의 외국어 학습은 주로 읽기, 쓰기에 치중되었으나, 현재는 듣기 및 말하기가 외국어 학습에서 큰 비중을 차지하고 있다.The ability to use foreign languages is very important in modern society. Existing foreign language learning was mainly focused on reading and writing, but now listening and speaking occupy a large portion of foreign language learning.

특히 말하기는 일반적으로 학습자가 외국어를 학습할 때, 가장 어려워하는 부분으로, 대부분의 학습자들은 외국어 말하기 학습 초반에 발화를 주저하는 단계인 무성 기간(silent period)과 학습언어의 규칙을 습득해 가면서 외국어 발화를 수행하는 실험적 생성 기간(production period)을 갖는다. 외국어 말하기 학습에서 무성 기간과 실험적 생성 기간은 학습자들이 가장 힘들어하는 기간으로 이 기간에 말하기 학습을 원활하게 수행할 수 있다면, 학습자의 외국어 말하기 능력은 단기간에 크게 성장할 수 있게 된다.In particular, speaking is the most difficult part for learners to learn a foreign language in general, and most learners learn to speak a foreign language as they learn the rules of the language and the silent period, which is the stage of hesitation from speaking. It has an experimental production period to perform the utterance. In foreign language speaking learning, the silent period and the experimental generation period are the most difficult periods for learners, and if they can perform speech learning smoothly during this period, the learner's foreign language speaking ability can grow significantly in a short period of time.

이에 학습자가 거부감 없이 쉽고 익숙한 방식으로 무성 기간과 실험적 생성 기간에 외국어 학습을 수행할 수 있는 외국어 학습 장치 및 외국어 학습 방법이 요구되고 있다.
Accordingly, there is a need for a foreign language learning device and a foreign language learning method that enable learners to learn foreign languages during silent periods and experimental generation periods in an easy and familiar manner without feeling rejected.

본 발명의 목적은 사용자의 모국어 및 외국어 발화를 음성인식하여 번역된 음성을 출력하거나, 오류나 발음을 교정하여 학습자에게 피드백할 수 있는 인터랙티브 캐릭터 기반 외국어 학습 장치를 제공하는데 있다.An object of the present invention is to provide an interactive character-based foreign language learning apparatus capable of recognizing a user's utterance in a native language and a foreign language and outputting a translated voice, or correcting an error or pronunciation and giving feedback to a learner.

본 발명의 다른 방법은 인터랙티브 캐릭터 기반 외국어 학습 방법을 제공하는데 있다.
Another method of the present invention is to provide an interactive character-based foreign language learning method.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 외국어 학습 장치는 학습자가 평상시에 사용하는 언어로 기설정된 생활 언어 및 학습 대상 언어 중 하나로 상기 학습자가 발화하는 음성 입력을 수신하고, 합성음 및 학습 평가 결과 중 적어도 하나를 출력하는 입출력부; 상기 음성 입력을 인가받아 음성 인식을 수행하여 음성 인식 결과 텍스트를 출력하는 음성 인식부; 상기 음성 인식 결과 텍스트를 수신하여 상기 음성 인식 결과 텍스트의 오류를 교정하고 유사 문장을 생성하는 문장 분석 및 교정부; 문장 분석 및 교정부에서 오류가 교정된 상기 음성 인식 결과 텍스트의 언어와 출력 언어가 서로 상이한 경우, 상기 음성 인식 결과 텍스트를 상기 출력 언어에 대응하여 자동 번역하여 자동 번역 텍스트를 생성하는 다국어 자동 번역 모듈; 오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 상기 입출력부로 출력하는 다국어 음성 합성 모듈; 및 상기 학습자의 언어 사용 능력을 평가하고, 평가 결과를 상기 입출력부로 출력하는 학습 평가부; 를 포함한다.A foreign language learning apparatus according to an embodiment of the present invention for achieving the above object receives a voice input uttered by the learner in one of a living language and a language to be learned, which is preset as a language used by the learner, and evaluates synthesized sound and learning. An input/output unit outputting at least one of the results; A voice recognition unit configured to receive the voice input, perform voice recognition, and output a text as a result of voice recognition; A sentence analysis and correction unit for receiving the speech recognition result text, correcting errors in the speech recognition result text, and generating a similar sentence; A multilingual automatic translation module for generating an automatic translation text by automatically translating the speech recognition result text in response to the output language when the language and the output language of the speech recognition result text corrected for errors in the sentence analysis and correction unit are different from each other ; Multilingual speech synthesis module for receiving at least one of the error-corrected speech recognition result text and the automatic translation text, synthesizing a speech corresponding to the received text according to characteristics of a preset interactive character, and outputting a synthesized sound to the input/output unit ; And a learning evaluation unit that evaluates the learner's ability to use language and outputs an evaluation result to the input/output unit. Includes.

상기 음성 인식부는 상기 학습자가 평상시에 사용하는 생활 언어를 사용하는 사람들의 L3 음향 모델과 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 음향 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 음향 모델을 포함하는 L123 사용자 음향 모델을 저장하는 L123 사용자 음향 모델 데이터베이스; 상기 학습자와 동일한 생활 언어를 사용하는 사람들의 L3 언어 모델과 상기 학습자와 동일 생활 언어를 사용 사람들의 동일한 상기 학습 대상 언어에 대한 L2 음향 모델 및 상기 학습 대상 언어가 생활 언어인 사람들의 L1 음향 모델을 포함하는 L123 사용자 음향 모델을 저장하는 L123 사용자 언어 모델 데이터베이스; 및 상기 음성 입력을 L123 사용자 음향 모델 및 L123 사용자 언어 모델을 이용하여 상기 음성 인식 결과 텍스트로 변환하는 다국어 음성 인식 모듈; 을 포함하는 것을 특징으로 한다.The speech recognition unit includes an L3 acoustic model of people who use the living language that the learner normally uses, and the L2 acoustic model of the same language to be learned by those who use the same living language as the learner, and the learning target language is a living language. An L123 user acoustic model database that stores an L123 user acoustic model including the L1 acoustic model of humans; An L3 language model of people who use the same living language as the learner, an L2 acoustic model for the same learning target language of people who use the same living language as the learner, and an L1 acoustic model of people whose learning target language is a living language. An L123 user language model database for storing the L123 user acoustic model including; And a multilingual speech recognition module that converts the speech input into text as a result of the speech recognition using the L123 user acoustic model and the L123 user language model. It characterized in that it comprises a.

상기 L123 사용자 음향 모델 데이터베이스는 상기 L1 음향 모델과 L2 음향 모델이 결합된 형태인 L1 + L2 음향 모델을 저장하고, 상기 L123 사용자 언어 모델 데이터베이스는 L1 언어 모델과 L2 언어 모델이 결합된 형태인 L1 + L2 언어 모델을 저장하는 것을 특징으로 한다.The L123 user acoustic model database stores an L1 + L2 acoustic model in which the L1 acoustic model and the L2 acoustic model are combined, and the L123 user language model database is L1 + in a form in which the L1 language model and the L2 language model are combined. It is characterized by storing the L2 language model.

상기 다국어 음성 인식 모듈은 상기 음성 입력이 상기 학습자의 생활 언어인 경우에는 상기 L3 음향 모델 및 상기 L3 언어 모델을 이용하여 음성 인식을 수행하고, 상기 음성 입력이 상기 학습 대상 언어인 경우에는 상기 L1 + L2 음향 모델과 상기 L1 + L2 언어 모델을 이용하여 음성 인식을 수행하는 것을 특징으로 한다.The multilingual speech recognition module performs speech recognition using the L3 acoustic model and the L3 language model when the speech input is the learner's life language, and the L1 + when the speech input is the learning target language. It is characterized in that speech recognition is performed using the L2 acoustic model and the L1 + L2 language model.

상기 문장 분석 및 교정부는 상기 생활 언어 및 상기 학습 대상 언어에 대해 기존의 음성 인식 결과 텍스트에서 발생하는 오류들과 이에 대한 교정 정보들을 누적한 오류 패턴을 저장하는 오류 교정 데이터베이스; 상기 음성 인식 결과 텍스트의 오류를 상기 오류 패턴에서 검색하여 오류를 교정하는 문장 오류 교정 모듈; 상기 생활 언어 및 상기 학습 대상 언어에서 의미적으로 유사한 다수의 유사 문장을 포함하는 유사 문장 패턴을 저장하는 유사 문장 데이터베이스; 및 상기 음성 인식 결과 텍스트와 의미적으로 유사한 문장을 상기 유사 문장 패턴을 검색하여 획득하는 유사 문장 생성 모듈; 을 포함하는 것을 특징으로 한다.The sentence analysis and correction unit includes an error correction database for storing errors occurring in the text as a result of speech recognition for the living language and the language to be learned and an error pattern in which correction information is accumulated; A sentence error correction module for correcting an error by searching for an error in the text as a result of the speech recognition from the error pattern; A similar sentence database storing a similar sentence pattern including a plurality of similar sentences that are semantically similar in the living language and the language to be learned; And a similar sentence generation module for obtaining a sentence semantically similar to the text as a result of the speech recognition by searching for the similar sentence pattern. It characterized in that it comprises a.

상기 문장 오류 교정 모듈은 상기 음성 인식 결과 텍스트를 n-gram 의 형태로 변환하고, 변환된 상기n-gram을 키워드로 하여 상기 오류 교정 데이터베이스의 상기 오류 패턴을 검색하고, 검색된 상기 오류 패턴으로부터 오류에 대한 교정 정보를 획득하고, 획득된 교정 정보를 검색 키워드의 상기 n-gram으로 대체함으로써 오류를 교정하는 것을 특징으로 한다.The sentence error correction module converts the speech recognition result text into an n-gram format, searches for the error pattern of the error correction database by using the converted n-gram as a keyword, and corrects the error from the searched error pattern. It is characterized in that the error is corrected by acquiring correction information for and replacing the obtained correction information with the n-gram of the search keyword.

상기 문장 오류 교정 모듈은 상기 음성 인식 결과 텍스트에서 기설정된 방식으로 중요 어휘를 추출하고, 상기 중요 어휘를 키워드로 하여 상기 유사 문장 데이터베이스의 유사 문장 패턴을 검색하며, 상기 유사 문장 패턴에서 검색된 유사 문장 후보들 중 상기 음성 인식 결과 텍스트와 문자열 구성이 가장 유사한 기설정된 개수의 상기 유사 문장 후보를 상기 유사 문장으로 선택하는 것을 특징으로 한다.The sentence error correction module extracts an important vocabulary from the speech recognition result text in a predetermined manner, searches for a similar sentence pattern in the similar sentence database using the important vocabulary as a keyword, and similar sentence candidates retrieved from the similar sentence pattern Among them, a predetermined number of the similar sentence candidates having the most similar text and character string configurations are selected as the similar sentence.

상기 학습 평가부는 상기 L1 음향 모델을 저장하는 L1 사용자 음향 모델 데이터베이스; L1 언어 모델을 저장하는 L1 사용자 언어 모델 데이터베이스; 및 상기 음성 입력과 상기 L1 음향 모델과 비교하여 음향 유사도를 계산하고, 상기 음성 인식 결과 텍스트와 상기 L1 언어 모델과 비교하여 언어 유사도를 계산하며, 상기 음성 인식 결과 텍스트와 상기 문장 분석 및 교정부에서 오류 교정된 상기 음성 인식 결과 텍스트를 비교하여 오류 유사도를 계산하고, 상기 음향 유사도와 상기 언어 유사도 및 상기 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 상기 평가 결과를 생성하는 학습자 평가 모듈; 을 포함하는 것을 특징으로 한다.The learning evaluation unit L1 user acoustic model database for storing the L1 acoustic model; An L1 user language model database that stores the L1 language model; And calculating an acoustic similarity by comparing the voice input and the L1 acoustic model, calculating a language similarity by comparing the speech recognition result text with the L1 language model, and in the speech recognition result text and the sentence analysis and correction unit. A learner evaluation module that compares the error-corrected speech recognition result text to calculate an error similarity, integrates the sound similarity, the language similarity, and the error similarity to digitize in a predetermined manner to generate the evaluation result; It characterized in that it comprises a.

상기 외국어 학습 장치는 오류 교정된 상기 음성 인식 결과 텍스트 또는 자동 번역 텍스트 중 적어도 하나를 수신하고, 기설정된 상기 인터랙티브 캐릭터의 특성 및 기저장된 상기 학습자의 음성 인식 결과 텍스트들을 이용하여, 음성 인식 결과 텍스트 또는 자동 번역 텍스트를 확장하여 확장 문장을 생성하는 패러프레이징 처리 모듈; 을 더 포함하는 것을 특징으로 한다.The foreign language learning apparatus receives at least one of the error-corrected speech recognition result text or the automatic translation text, and uses the preset characteristics of the interactive character and the previously stored speech recognition result texts of the learner, the speech recognition result text or A paraphrase processing module that expands the automatic translation text to generate an expanded sentence; It characterized in that it further comprises.

상기 패러프레이징 처리 모듈은 오류 교정된 상기 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트를 확장하기 위해 상기 텍스트의 구문 및 의미를 분석하여 특성 키워드를 추출하는 텍스트 분석 모듈; 상기 외국어 학습 장치에서 제공하는 상기 인터랙티브 캐릭터들의 특성 정보를 저장하는 캐릭터 특성 데이터베이스; 상기 텍스트 분석 모듈에서 분석된 상기 음성 인식 결과 텍스트의 키워드를 상기 캐릭터 특성 데이터베이스의 키워드 값들과 매칭하여, 상기 음성 인식 결과 텍스트의 문장을 확장하는 캐릭터 특성 관리 모듈; 상기 학습자가 이전에 발화하여 상기 음성 입력으로 입력하고, 음성 인식된 음성 인식 결과 텍스트들을 저장하는 세션 히스토리 데이터베이스; 및 상기 세션 히스토리 데이터베이스에 저장된 상기 음성 인식 결과 텍스트를 현재 학습자가 발성하여 음성 인식된 상기 음성 인식 결과 텍스트와 결합하여 문장을 확장하는 세션 히스토리 관리 모듈; 을 포함하는 것을 특징으로 한다.The paraphrase processing module receives at least one of the error-corrected speech recognition result text and the automatic translation text, and analyzes the syntax and meaning of the text to expand the received text to extract characteristic keywords. module; A character characteristic database for storing characteristic information of the interactive characters provided by the foreign language learning device; A character characteristic management module that matches a keyword of the speech recognition result text analyzed by the text analysis module with keyword values of the character characteristic database to expand the sentence of the speech recognition result text; A session history database for storing speech recognition result texts, which the learner has previously spoken and input through the speech input; And a session history management module configured to expand a sentence by combining the speech recognition result text stored in the session history database with the speech recognition result text that is voice-recognized by the current learner. It characterized in that it comprises a.

상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 외국어 학습 지원 방법은 입출력부, 음성 인식부, 문장 분석 및 교정부, 학습 평가부, 다국어 자동 번역 모듈, 패러프레이징 처리 모듈 및 다국어 음성 합성 모듈을 포함하는 외국어 학습 장치가 수행하는 외국어 학습 지원 방법으로서, 상기 입출력부가 설정 명령을 수신하여 음성 입력 언어 및 출력 언어에 대한 언어 설정과 인터랙티브 캐릭터 설정을 포함하는 학습 설정을 수행하는 단계; 상기 음성 입력이 수신되면, 상기 음성 인식부가 음성 인식을 수행하여 음성 인식 결과 텍스트를 생성하는 단계; 상기 문장 분석 및 교정부가 상기 음성 인식 결과 텍스트의 오류를 교정하는 단계; 상기 다국어 자동 번역 모듈이 상기 오류가 교정된 음성 인식 결과 텍스트가 상기 학습 설정에서 설정된 상기 출력 언어와 동일한지 판별하는 단계; 상기 오류가 교정된 음성 인식 결과 텍스트와 상기 출력 언어가 동일하지 않으면, 상기 오류가 교정된 음성 인식 결과 텍스트를 상기 출력 언어에 따라 자동 번역하여 자동 번역 텍스트를 생성하는 단계; 상기 패러프레이징 처리 모듈이 상기 오류가 교정된 음성 인식 결과 텍스트 및 상기 자동 번역 텍스트 중 적어도 하나를 수신하고, 수신된 상기 텍스트를 기설정된 상기 인터랙티브 캐릭터의 특성 및 기저장된 상기 학습자의 음성 인식 결과 텍스트들을 이용하여, 확장 문장을 생성하는 단계; 상기 다국어 음성 합성 모듈이 상기 오류 교정된 음성 인식 결과 텍스트, 상기 자동 번역 텍스트 및 상기 확장 문장 중 적어도 하나를 수신하여 이에 대응하는 음성을 기설정된 인터랙티브 캐릭터의 특성에 따라 합성하여 합성음을 생성하는 단계; 상기 학습 평가부가 상기 학습자의 언어 사용 능력을 평가하여, 평가 결과를 생성하는 단계; 및 상기 입출력부가 상기 합성음과 상기 평가 결과를 출력하는 단계; 를 포함한다.A foreign language learning support method according to an embodiment of the present invention for achieving the above other object is an input/output unit, a speech recognition unit, a sentence analysis and correction unit, a learning evaluation unit, a multilingual automatic translation module, a paraphrase processing module, and a multilingual speech synthesis module. A foreign language learning support method performed by a foreign language learning apparatus comprising the steps of: receiving a setting command by the input/output unit and performing learning setting including language setting and interactive character setting for a voice input language and an output language; When the voice input is received, the voice recognition unit performs voice recognition to generate a voice recognition result text; Correcting an error in the text as a result of the speech recognition by the sentence analysis and correction unit; Determining, by the multilingual automatic translation module, whether the speech recognition result text in which the error is corrected is the same as the output language set in the learning setting; If the error-corrected speech recognition result text and the output language are not the same, generating an automatic translation text by automatically translating the error-corrected speech recognition result text according to the output language; The paraphrase processing module receives at least one of the error-corrected speech recognition result text and the automatic translation text, and uses the received text as a preset characteristic of the interactive character and the previously stored speech recognition result texts of the learner. By using, generating an extended sentence; Receiving, by the multilingual speech synthesis module, at least one of the error-corrected speech recognition result text, the automatic translation text, and the expanded sentence, and synthesizing the corresponding speech according to characteristics of a preset interactive character to generate a synthesized sound; Generating an evaluation result by evaluating the learner's language use ability by the learning evaluation unit; And outputting the synthesized sound and the evaluation result by the input/output unit. Includes.

따라서, 본 발명의 인터랙티브 캐릭터 기반 외국어 학습 장치 및 학습 지원 방법은 학습자가 인터랙티브 캐릭터를 이용한 인터페이스를 통해 게임처럼 쉽고 익숙한 접근 방법으로 경직된 외국어 학습 과정을 쉽고 흥미롭게 수행할 수 있다. 더불어 학습자의 모국어 발화에 대한 번역된 외국어의 발성음을 합성하여 출력하여 학습자가 외국어 발성음을 따라 할 수 있도록 할 수 있다. 뿐만 아니라, 무성 기간과 실험적 생성 기간의 숙달되지 않은 학습자의 외국어 발화의 오류, 발음 교정 및 언어 평가를 학습자에게 친숙한 캐릭터가 피드백함으로써 학습자의 언어 학습의 스트레스를 감소시킬 수 있다. 그리고 유사 문장을 확장하여 제공함으로써 학습자가 다양한 표현의 외국어를 학습할 수 있도록 한다.Accordingly, the interactive character-based foreign language learning apparatus and learning support method of the present invention enable a learner to easily and interestingly perform a rigid foreign language learning process with an easy and familiar approach like a game through an interface using an interactive character. In addition, by synthesizing and outputting the utterances of the translated foreign language for utterances in the learner's native language, the learner can replicate the utterances in the foreign language. In addition, it is possible to reduce the stress of language learning of learners by providing feedback from characters familiar to learners about errors in foreign language speech, pronunciation correction, and language evaluation of learners who are not mastered during the silent period and the experimental generation period. In addition, by expanding and providing similar sentences, learners can learn foreign languages with various expressions.

도1 은 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 장치의 구성을 나타낸다.
도2 는 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 방법을 나타낸다.1 shows the configuration of an interactive character-based foreign language learning apparatus according to an embodiment of the present invention.
2 shows a foreign language learning method based on an interactive character according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
Throughout the specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean units that process at least one function or operation, which is hardware, software, or hardware. And software.

도1 은 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 장치의 구성을 나타낸다.1 shows the configuration of an interactive character-based foreign language learning apparatus according to an embodiment of the present invention.

도1 을 참조하면, 본 발명의 인터랙티브 캐릭터 기반 외국어 학습 장치(10)는 크게 입출력부(100), 음성 인식부(200), 문장 분석 및 교정부(300), 학습 평가부(400), 다국어 자동 번역 모듈(500), 패러프레이징 처리 모듈(600), 문장 응용부(700) 및 다국어 음성 합성 모듈(800)을 포함한다.Referring to Figure 1, the interactive character-based foreign language learning apparatus 10 of the present invention is largely an input/output unit 100, a speech recognition unit 200, a sentence analysis and correction unit 300, a learning evaluation unit 400, multilingual An automatic translation module 500, a paraphrase processing module 600, a sentence application unit 700, and a multilingual speech synthesis module 800 are included.

먼저 입출력부(100)는 학습자의 음성을 감지하여 생성되는 음성 입력을 음성 인식부(200)으로 전송하고, 다국어 음성 합성 모듈(800)로부터 합성음을 수신하여 출력하거나, 학습 평가부(400)로부터 학습자의 학습 평가 결과를 수신하여 학습자에게 표시한다.First, the input/output unit 100 transmits a voice input generated by detecting the learner's voice to the voice recognition unit 200, receives and outputs the synthesized sound from the multilingual voice synthesis module 800, or outputs the synthesized sound from the learning evaluation unit 400. Receives learner's learning evaluation results and displays them to learners.

음성 인식부(200)는 입출력부(100)를 통해 음성 입력을 수신하고, 수신된 음성 입력을 음성 인식하여, 음성 인식 결과 텍스트로 변환한다. 여기서 음성 인식부(200)는 학습자가 일상에서 사용하는 생활 언어를 음성 인식 할 수 있을 뿐만 아니라 학습자가 발화한 학습 대상 언어 또한 음성 인식 할 수 있다. 음성 인식부(200)는 L123 사용자 음향 모델 데이터베이스(210), L123 사용자 언어 모델 데이터베이스(220) 및 다국어 음성 인식 모듈(230)을 포함한다.The voice recognition unit 200 receives a voice input through the input/output unit 100, recognizes the received voice input, and converts the voice recognition result into text. Here, the speech recognition unit 200 not only can speech recognition of the daily life language used by the learner, but also speech recognition of the language to be learned uttered by the learner. The speech recognition unit 200 includes an L123 user acoustic model database 210, an L123 user language model database 220, and a multilingual speech recognition module 230.

L123 사용자 음향 모델 데이터베이스(210)는 학습자가 평상시에 사용하는 생활 언어(일반적으로는 모국어)를 사용하는 사람들의 음향 모델(여기서는 L3 음향 모델이라 함)과 학습자와 동일 생활 언어를 사용 사람들의 동일한 학습 대상 언어에 대한 음향 모델(여기서는 L2 음향 모델이라 함) 및 학습 대상 언어가 생활 언어인 사람들의 음향 모델(여기서는 L1 음향 모델이라 함)을 포함하는 L123 사용자 음향 모델을 저장한다. 여기서 L123 사용자 음향 모델 데이터베이스(210)는 L1 음향 모델과 L2 음향 모델이 결합된 형태인 L1 + L2 음향 모델을 저장할 수 있다.The L123 user acoustic model database 210 is an acoustic model of people who use the living language (generally, the mother tongue) that the learner uses in everyday life (referred to herein as the L3 acoustic model) and the same learning of people who use the same living language as the learner. An L123 user acoustic model including an acoustic model for a target language (referred to as an L2 acoustic model herein) and an acoustic model of people whose learning target language is a living language (referred to as an L1 acoustic model herein) is stored. Here, the L123 user acoustic model database 210 may store an L1 + L2 acoustic model in which the L1 acoustic model and the L2 acoustic model are combined.

유사하게 L123 사용자 언어 모델 데이터베이스(220)는 학습자와 동일한 생활 언어를 사용하는 사람들의 언어 모델(여기서는 L3 언어 모델이라 함)과 학습자와 동일한 생활 언어를 사용하는 사람들의 동일한 학습 대상 언어에 대한 언어 모델(여기서는 L2 언어 모델이라 함) 및 학습 대상 언어가 생활 언어인 사람들의 언어 모델(여기서는 L1 언어 모델이라 함)을 포함하는 L123 사용자 언어 모델을 저장한다. 여기서 L123 사용자 언어 모델 데이터베이스(220)는 L1 언어 모델과 L2 언어 모델은 결합된 형태인 L1 + L2 언어 모델로 저장할 수 있다.Similarly, the L123 user language model database 220 includes a language model of people who use the same living language as the learner (referred to herein as an L3 language model) and a language model for the same language to be learned by people who use the same living language as the learner. An L123 user language model including (referred to herein as an L2 language model) and a language model of people whose learning target language is a living language (referred to herein as an L1 language model) is stored. Here, the L123 user language model database 220 may store the L1 language model and the L2 language model as a combined L1 + L2 language model.

상기한 바와 같이 본 발명에서는 설명의 편의를 위하여 학습자가 학습하고자 하는 대상이 되는 언어를 L1 언어라 하고, 학습자가 일상에서 사용하는 생활 언어를 L3 언어라 한다. L2 언어는 L3 언어의 사용자들이 L1 언어를 사용하는 경우를 의미한다.As described above, in the present invention, for convenience of explanation, the language that the learner intends to learn is referred to as the L1 language, and the living language used by the learner in daily life is referred to as the L3 language. L2 language refers to the case where L3 language users speak L1 language.

다국어 음성 인식 모듈(230)은 입출력부(100)를 통해 인가되는 학습자의 음성 입력을 수신하고, 수신된 학습자의 음성 입력을 L123 사용자 음향 모델 데이터베이스(210)에 저장된 L123 사용자 음향 모델 및 L123 사용자 언어 모델 데이터베이스(220)에 저장된 L123 사용자 언어 모델을 이용하여 음성 인식을 수행하고, 음성 인식된 음성 입력을 음성 인식 결과 텍스트로 변환하여 문장 분석 및 교정부(300)로 출력한다. 다국어 음성 인식 모듈(230)은 음성 입력이 학습자의 생활 언어이거나 학습 대상 언어거나 무관하게 음성 인식을 수행할 수 있다. 즉 음성 입력이 학습자의 생활 언어인 경우에는 L3 음향 모델 및 L3 언어 모델을 이용하여 음성 인식을 수행한다. 그리고 음성 입력이 학습 대상 언어인 경우에는 L1 및 L2 음향 모델과 L1 및 L2 언어 모델을 이용하여 음성 인식을 수행하거나, L1 + L2 음향 모델과 L1 + L2 언어 모델을 이용하여 음성 인식을 수행한다. 이때 다국어 음성 인식 모듈(230)은 음성 입력을 L3 음향 모델과 비교하여 학습자가 발화한 음성 입력이 생활 언어인지 학습 대상 언어인지 판별하여 음성인식을 수행할 수 있다. 그러나 학습자가 발화할 언어 및 학습 대상 언어를 미리 설정하여 음성 입력할 수도 있다. 즉 다국어 음성 인식 모듈(230)은 입출력부(100)를 통해 언어 설정 정보를 미리 수신하여 설정하는 것이 정확한 음성 인식을 위해 바람직하다.The multilingual speech recognition module 230 receives a learner's voice input applied through the input/output unit 100, and stores the received learner's voice input in the L123 user acoustic model database 210 and the L123 user acoustic model and the L123 user language. The L123 user language model stored in the model database 220 is used to perform speech recognition, and the speech recognition result is converted into text and output to the sentence analysis and correction unit 300. The multilingual speech recognition module 230 may perform speech recognition regardless of whether the speech input is a learner's living language or a learning target language. That is, when the voice input is the learner's living language, voice recognition is performed using the L3 acoustic model and the L3 language model. In addition, when the speech input is a language to be learned, speech recognition is performed using L1 and L2 acoustic models and L1 and L2 language models, or speech recognition is performed using L1 + L2 acoustic models and L1 + L2 language models. In this case, the multilingual speech recognition module 230 may perform speech recognition by comparing the speech input with the L3 acoustic model to determine whether the speech input uttered by the learner is a living language or a language to be learned. However, a language to be spoken by the learner and a language to be learned may be preset and input by voice. That is, it is preferable for the multilingual speech recognition module 230 to receive and set language setting information in advance through the input/output unit 100 for accurate speech recognition.

학습 대상 언어에 대해 숙달되지 않은 학습자의 학습 대상 언어에 대한 발화는 오류를 포함하고 있을 가능성이 매우 크다. 이에 기존의 음성 인식 기술을 적용하는 경우에, 음성 인식을 정상적으로 수행하지 못하는 경우가 빈번하게 발생하게 된다. 이는 외국어 학습 장치가 학습 언어에 숙달되지 않은 학습자에게 발화 시 어떠한 오류가 발생하였는지를 알려주지 않은 채 반복적으로 음성을 입력할 것을 요구하게 되어 학습자의 스트레스를 유발한다. 그리고 이러한 학습자의 스트레스는 외국어 학습을 기피하게 하는 현상을 낳는 문제를 야기한다. 특히 학습 대상 언어가 생활 언어인 사람들과 외국어인 학습 대상 언어를 학습하고자 하는 사람들 사이에는 발화하는 음성에 차이가 있더라도 학습자가 이를 인지하지 못하는 경우가 많으므로, 외국어 학습 장치의 음성 인식은 음성 입력에 오류가 포함되어 있더라도 정확하게 음성을 인식할 수 있는 기술이 요구된다.It is very likely that the utterances of the language to be learned by a learner who is not proficient in the language to be studied contain errors. Accordingly, when the existing speech recognition technology is applied, a case in which speech recognition cannot be normally performed frequently occurs. This causes the learner's stress by requiring the foreign language learning device to repeatedly input the voice without notifying the learner who is not proficient in the learning language what kind of error occurred when speaking. And this learner's stress causes a problem that leads to a phenomenon that avoids learning a foreign language. In particular, even if there is a difference in the spoken voice between people whose learning target language is a living language and those who want to learn a foreign language learning target language, the learner does not recognize it in many cases. Even if an error is included, a technology capable of accurately recognizing speech is required.

이에 본 발명의 음성 인식부(200)는 학습 대상 언어가 생활 언어인 사람들에 대한 음향 모델 및 언어 모델뿐만 아니라 학습자와 동일 생활 언어를 가진 사람들의 동일한 학습 대상 언어에 대한 음향 모델 및 언어 모델이 결합된 L1 + L2 사용자 음향 모델 및 L1 + L2 사용자 언어 모델을 이용하여 학습 대상 언어에 대한 음성 인식을 수행하므로 음성 입력을 음성 인식하여 학습언어 텍스트 생성 시에 오류에 강인한 음성인식 기능을 제공할 수 있다.Accordingly, the speech recognition unit 200 of the present invention combines not only an acoustic model and a language model for people whose learning target language is a living language, but also an acoustic model and a language model for the same learning target language of learners and those who have the same living language. Since the L1 + L2 user acoustic model and the L1 + L2 user language model are used to perform speech recognition for the language to be learned, it is possible to provide a voice recognition function that is robust against errors when generating text in the learning language by recognizing speech input. .

문장 분석 및 교정부(300)는 음성 인식부(200)에서 음성 인식 결과 텍스트를 수신하고, 음성 인식 결과 텍스트의 오류를 교정하고 유사 문장을 생성한다. 문장 분석 및 교정부(300)는 오류 교정 데이터베이스(310), 문장 오류 교정 모듈(320), 유사 문장 데이터베이스(330) 및 유사 문장 생성 모듈(340)을 포함한다.The sentence analysis and correction unit 300 receives the speech recognition result text from the speech recognition unit 200, corrects errors in the speech recognition result text, and generates a similar sentence. The sentence analysis and correction unit 300 includes an error correction database 310, a sentence error correction module 320, a similar sentence database 330, and a similar sentence generation module 340.

오류 교정 데이터베이스(310)는 생활 언어 및 학습 대상 언어에 대한 오류 패턴을 저장한다. 오류 패턴은 기존 음성 인식 결과 텍스트에서 발생하는 오류들과 이에 대한 교정 정보들을 누적한 정보이다.The error correction database 310 stores error patterns for living language and language to be learned. The error pattern is information obtained by accumulating errors occurring in text as a result of existing speech recognition and correction information.

문장 오류 교정 모듈(320)은 수신된 음성 인식 결과 텍스트의 오류 패턴을 오류 교정 데이터베이스(310)에서 검색하여 수정하여 오류를 교정한다. 본 발명에서 문장 오류 교정 모듈(320)은 문장 오류를 교정하기 위해 먼저 음성 인식 결과 텍스트를 n-gram 의 형태로 변환한다. n-gram은 대표적인 확률적 언어 모델의 하나로서, 단어열을 확률적으로 취급하는 언어 모델이다. n-gram은 확률적 언어 모델의 대표적인 것으로서, n개 단어의 연쇄를 확률적으로 표현해 두면 실제로 발성된 문장의 기록을 계산하는 기술이다.The sentence error correction module 320 searches and corrects the error pattern of the received speech recognition result text in the error correction database 310 to correct the error. In the present invention, the sentence error correction module 320 first converts the speech recognition result text into an n-gram form in order to correct a sentence error. The n-gram is one of the representative probabilistic language models, and is a language model that treats word sequences probabilistically. The n-gram is a representative of the probabilistic language model, and it is a technique that calculates the record of the actually spoken sentence by probabilistically expressing a chain of n words.

문장 오류 교정 모듈(320)은 음성 인식 결과 텍스트가 n-gram 형태로 변환되면, 변환된 n-gram을 키워드로 하여 오류 교정 데이터베이스(310)의 오류 패턴을 검색한다. 검색된 오류 패턴으로부터 오류에 대한 교정 정보를 획득하고, 획득된 교정 정보를 검색 키워드의 n-gram으로 대체함으로써 오류를 교정한다.When the text as a result of speech recognition is converted into an n-gram format, the sentence error correction module 320 searches for an error pattern of the error correction database 310 using the converted n-gram as a keyword. The error is corrected by obtaining correction information for the error from the searched error pattern, and replacing the obtained correction information with n-grams of the search keyword.

한편 유사 문장 데이터베이스(330)는 생활 언어 및 학습 대상 언어에서 의미적으로 유사한 다수의 유사 문장을 포함하는 유사 문장 패턴을 저장한다. 일반적으로 사용되는 언어에서 유사 문장의 개수는 입력 가능한 대상 문장이 한정되지 않으므로 무한하다고 할 수 있으나, 외국어 학습은 대부분 한정된 문장을 활용하여 수행되므로, 유사 문장 데이터베이스(330)는 외국어 학습에 사용되는 문장으로 입력 대상 문장을 한정함으로써 대응하는 유사 문장을 저장할 수 있다.Meanwhile, the similar sentence database 330 stores a similar sentence pattern including a plurality of similar sentences that are semantically similar in a living language and a language to be learned. In a commonly used language, the number of similar sentences can be said to be infinite because the target sentences that can be input are not limited. However, since foreign language learning is mostly performed using limited sentences, the similar sentence database 330 is used for learning foreign languages. By limiting the input target sentence, a corresponding similar sentence can be stored.

유사 문장 생성 모듈(340)은 음성 인식 결과 텍스트를 수신되면, 음성 인식 결과 텍스트와 의미적으로 유사한 문장을 유사 문장 데이터베이스(330)의 유사 문장 패턴을 검색하여 유사 문장을 획득한다. 유사 문장 생성 모듈(340)는 유사 문장을 획득하기 위해 우선 음성 인식 결과 텍스트에서 기설정된 방식으로 중요 어휘를 추출한다. 그리고 추출된 중요 어휘를 키워드로 하여 유사 문장 데이터베이스(330)의 유사 문장 패턴을 검색한다. 다수의 유사 문장 후보들이 검색되면, 검색된 유사 문장 후보들 중 음성 인식 결과 텍스트와 문자열 구성이 가장 유사한 기설정된 개수의 유사 문장 후보를 유사 문장으로 결정한다.When the speech recognition result text is received, the similar sentence generation module 340 retrieves a similar sentence pattern of the similar sentence database 330 for a sentence that is semantically similar to the voice recognition result text to obtain a similar sentence. The similar sentence generation module 340 first extracts an important vocabulary from the speech recognition result text in a predetermined manner to obtain a similar sentence. Then, the similar sentence pattern of the similar sentence database 330 is searched using the extracted important vocabulary as a keyword. When a plurality of similar sentence candidates are searched, among the searched similar sentence candidates, a predetermined number of similar sentence candidates having the most similar text and character string configurations among the searched similar sentence candidates is determined as the similar sentence.

학습 평가부(400)는 L1 사용자 음향 모델 데이터베이스(410), L1 사용자 언어 모델 데이터베이스(420) 및 학습자 평가 모듈(430)을 포함하여, 학습자의 언어 사용 능력을 평가하고, 평가 결과를 입출력부(100)로 전송한다.The learning evaluation unit 400 includes the L1 user acoustic model database 410, the L1 user language model database 420, and the learner evaluation module 430 to evaluate the language use ability of the learner, and input the evaluation result to the input/output unit ( 100).

L1 사용자 음향 모델 데이터베이스(410)는 학습 대상 언어가 생활 언어인 사람들에 대한 L1 음향 모델을 저장하고, L1 사용자 언어 모델 데이터베이스(420)는 L1 언어 모델을 저장한다.The L1 user acoustic model database 410 stores the L1 acoustic model for people whose learning target language is a living language, and the L1 user language model database 420 stores the L1 language model.

학습자 평가 모듈(430)은 음성 인식부(200)의 다국어 음성 인식 모듈(230)로부터 음성 입력을 수신하여 L1 사용자 음향 모델 데이터베이스(410)의 L1 음향 모델과 비교하여 음향 유사도를 계산하고, 음성 인식 결과 텍스트를 L1 사용자 음향 모델 데이터베이스(420)의 L1 언어 모델과 비교하여 언어 유사도를 계산한다. 그리고 음성 인식 결과 텍스트와 문장 분석 및 교정부(300)의 문장 오류 교정 모듈(320)에서 오류 교정된 음성 인식 결과 텍스트를 수신하고 비교하여 오류 유사도를 계산한다. 마지막으로 음향 유사도와 언어 유사도 및 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 평가 결과를 생성한다.The learner evaluation module 430 receives a voice input from the multilingual voice recognition module 230 of the voice recognition unit 200, compares it with the L1 acoustic model of the L1 user acoustic model database 410, calculates the acoustic similarity, and recognizes the voice. The resulting text is compared with the L1 language model of the L1 user acoustic model database 420 to calculate a language similarity. Then, the speech recognition result text and the sentence error correction module 320 of the sentence analysis and correction unit 300 receive and compare the error-corrected speech recognition result text to calculate an error similarity. Finally, the sound similarity, the language similarity, and the error similarity are integrated and quantified in a preset manner to generate an evaluation result.

상기에서는 학습 평가부(400)가 L1 사용자 음향 모델 데이터베이스(410) 및 L1 사용자 언어 모델 데이터베이스(420)를 구비하는 것으로 설명하였으나, L1 사용자 음향 모델 데이터베이스(410)와 L1 사용자 언어 모델 데이터베이스(420)는 각각 L123 사용자 음향 모델(210) 및 L123 사용자 언어 모델에 포함되어 구현될 수 있다. 또한 상기에서는 학습자 평가 모듈(430)이 음향 유사도, 언어 유사도 및 오류 유사도를 직접 계산하는 것으로 설명하였으나, 음향 유사도, 언어 유사도는 음성 인식부(200)의 다국어 음성 인식 모듈(230)이 계산하여 학습 평가부(400)로 전송할 수 있으며, 오류 유사도는 문장 오류 교정 모듈(320)이 계산하여 학습 평가부(400)로 전송할 수 있다. 이 경우, 학습 평가부는 단순히 음향 유사도와 언어 유사도 및 오류 유사도를 통합하여 기설정된 방식으로 수치화하여 평가 결과만을 생성하여 출력할 수 있다. 또한 학습자 평가 모듈(430)은 음향 유사도와 언어 유사도 및 오류 유사도 각각을 시각적 또는 청각적 방식으로 출력하여 학습자의 학습 대상 언어에 대한 발화의 어떠한 부분에서 오류가 있는지를 직관적으로 인지할 수 있도록 한다. 예를 들면, 오류가 기설정된 수준보다 큰 어휘들만을 별도로 표시하거나 발성음을 별도로 다시 들려줄 수 있다. 이때, 학습 평가부(400)는 단순히 평가 결과와 오류 부분을 지적하는 방식으로 학습자에게 표시하는 것이 아니라 인터랙티브 캐릭터를 이용하여 표시함으로써 학습자에게 친숙한 방식으로 오류를 교정 할 수 있도록 한다.In the above, it has been described that the learning evaluation unit 400 includes the L1 user acoustic model database 410 and the L1 user language model database 420, but the L1 user acoustic model database 410 and the L1 user language model database 420 May be implemented by being included in the L123 user acoustic model 210 and the L123 user language model, respectively. In addition, although it has been described above that the learner evaluation module 430 directly calculates sound similarity, language similarity, and error similarity, the multilingual speech recognition module 230 of the speech recognition unit 200 calculates and learns sound similarity and language similarity. It may be transmitted to the evaluation unit 400, and the error similarity may be calculated by the sentence error correction module 320 and transmitted to the learning evaluation unit 400. In this case, the learning evaluation unit may simply integrate sound similarity, language similarity, and error similarity to quantify it in a preset manner, thereby generating and outputting only the evaluation result. In addition, the learner evaluation module 430 outputs sound similarity, language similarity, and error similarity in a visual or audible manner, so that it is possible to intuitively recognize in which part of the utterance of the learner's language to be learned there is an error. For example, only vocabulary with an error greater than a preset level may be separately displayed or a voiced sound may be heard again. At this time, the learning evaluation unit 400 does not simply display the evaluation result and the error part to the learner in a manner that points out, but displays it using an interactive character, so that the error can be corrected in a manner familiar to the learner.

다국어 자동 번역 모듈(500)은 문장 분석 및 교정부(300)에서 오류가 교정된 음성 인식 결과 텍스트를 수신하고, 음성 인식 결과 텍스트의 언어와 출력할 음성합성 언어가 서로 상이한 경우에 오류가 교정된 음성 인식 결과 텍스트를 학습 대상 언어로 자동으로 번역하여 자동 번역 텍스트를 출력한다. 즉 음성 인식 결과 텍스트가 학습자의 생활 언어이고, 출력해야 할 합성음이 학습 대상 언어인 경우에, 생활 언어인 음성 인식 결과 텍스트를 학습 대상 언어로 번역한다. 자동 번역 수행 여부는 음성 인식부(200)에서 입력 음성이 생활 언어인지 학습 대상 언어인지를 미리 판별하였으므로, 이를 이용하여 자동 번역 수행 여부를 결정할 수 있다. 예를 들면, 음성 인식부의 다국어 음성 인식 모듈(230)가 다국어 자동 번역 모듈(500)로 언어 설정 정보에 따른 번역 신호를 전송함으로써 자동 번역을 수행할 수 있다.The multilingual automatic translation module 500 receives the speech recognition result text in which the error is corrected in the sentence analysis and correction unit 300, and when the language of the speech recognition result text and the speech synthesis language to be output are different from each other, the error is corrected. The text of the speech recognition result is automatically translated into the language to be learned and the automatically translated text is output. That is, when the speech recognition result text is the learner's living language and the synthesized sound to be output is the learning target language, the speech recognition result text, which is the living language, is translated into the learning target language. Whether to perform automatic translation, since the voice recognition unit 200 determines in advance whether the input voice is a living language or a language to be learned, it can be used to determine whether to perform automatic translation. For example, the multilingual speech recognition module 230 of the speech recognition unit may perform automatic translation by transmitting a translation signal according to language setting information to the multilingual automatic translation module 500.

패러프레이징(Paraphrasing) 처리 모듈(600)은 오류 교정된 음성 인식 결과 텍스트 또는 자동 번역 텍스트를 수신하고, 음성 인식 결과 텍스트 또는 자동 번역 텍스트를 문장 응용부(700)를 통해 확장한다. 즉 인터랙티브 캐릭터가 발화하는 문장의 수를 확장한다.The paraphrasing processing module 600 receives the error-corrected speech recognition result text or automatic translation text, and expands the speech recognition result text or automatic translation text through the sentence application unit 700. That is, the number of sentences spoken by the interactive character is expanded.

문장 응용부(700)는 텍스트 분석 모듈(710), 캐릭터 특성 데이터베이스(720), 캐릭터 특성 관리 모듈(730), 세션 히스토리 데이터베이스(740) 및 세션 히스토리 관리 모듈(750)을 포함하여 패러프레이징 처리 모듈(600)에서 확장 요청되는 텍스트를 확장한다.The sentence application unit 700 includes a text analysis module 710, a character characteristic database 720, a character characteristic management module 730, a session history database 740, and a session history management module 750, including a paraphrase processing module. In (600), the text requested for expansion is expanded.

텍스트 분석 모듈(710)은 패러프레이징 처리 모듈(600)에서 확장 요청하여 전송되는 텍스트의 구문 및 의미를 분석하여 특성 키워드를 추출한다. The text analysis module 710 extracts a characteristic keyword by analyzing the syntax and meaning of the text transmitted by requesting extension from the paraphrase processing module 600.

캐릭터 특성 데이터베이스(720)는 외국어 학습 장치에서 제공하는 인터랙티브 캐릭터들의 특성 정보를 저장한다. 여기서 저장되는 캐릭터들의 특성 정보에는 캐릭터 이름, 형상, 종류 및 캐릭터에 대응하는 음성 데이터 등이 포함될 수 있다.The character characteristic database 720 stores characteristic information of interactive characters provided by the foreign language learning apparatus. Characteristic information of characters stored here may include a character name, shape, type, and voice data corresponding to the character.

캐릭터 특성 관리 모듈(730)은 텍스트 분석 모듈(720)에서 분석된 텍스트의 키워드를 캐릭터 특성 데이터베이스(720)의 키워드 값들과 매칭하여 해당 값을 적용한 문장을 생성한다. 예를 들면 인터렉티브 캐릭터가 고양이 캐릭터이고, 확장 요청되는 문장이 "나는 홍길동이다"인 경우에, 캐릭터 특성 관리 모듈(730)은 "나는 고양이이다"라고 확장 문장을 생성하여 패러프레이징 처리 모듈(600)로 전송한다.The character characteristic management module 730 matches the keyword of the text analyzed by the text analysis module 720 with keyword values of the character characteristic database 720 to generate a sentence to which the corresponding value is applied. For example, when the interactive character is a cat character and the sentence requested for expansion is "I am Hong Gil-dong", the character characteristic management module 730 generates an extended sentence saying "I am a cat" and the paraphrase processing module 600 Transfer to.

세션 히스토리 데이터베이스(740)는 학습자가 이전에 발화하여 음성 입력으로 입력하고 음성 인식된 음성 인식 결과 텍스트들을 저장한다.The session history database 740 stores the speech recognition result texts that were previously spoken by a learner and inputted as a voice input.

세션 히스토리 관리 모듈(750)은 이전에 학습자가 발성하여 음성 인식된 음성 인식 결과 텍스트를 현재 학습자가 발성하여 음성 인식된 음성 인식 결과 텍스트와 결합하여 문장을 확장한다. 예를 들면 학습자가 "나는 사람이다", "나는 배고프다"를 한 세션에서 발화하여 음성 인식 된 경우, 세션 히스토리 고나리 모듈(750)은 "나는 사람이어서 배고프다", "나는 사람이니까 배고프다" 등으로 문장을 결합하여 확장 문장을 생성한다.The session history management module 750 expands the sentence by combining the speech recognition result text, which was previously uttered by the learner and voice-recognized, with the speech recognition result text that the current learner uttered and voiced. For example, when a learner utters "I am a person" and "I am hungry" in one session and voice recognition is performed, the session history gonari module 750 may read "I am hungry because I am a person", "I am hungry because I am a person", etc. The sentences are combined to create an extended sentence.

문장 응용부(700)에서 확장되어 생성되는 문장들은 인터랙티브 캐릭터와 함께 학습자에게 출력될 문장으로, 문장 응용부(700)는 곧 인터렉티브 캐릭터 관리부로 볼 수 있다. 또한 상기에서는 문장 응용부(700)를 별도로 도시하였으나, 문장 응용부(700)은 패러프레이징 처리 모듈(600)에 포함되어 구성될 수 있다.Sentences that are expanded and generated by the sentence application unit 700 are sentences to be output to the learner together with the interactive character, and the sentence application unit 700 may be viewed as an interactive character management unit. In addition, although the sentence application unit 700 is separately illustrated above, the sentence application unit 700 may be included in the paraphrase processing module 600 and configured.

다국어 음성 합성 모듈(800)은 패러프레이징 처리 모듈(600)로부터 오류 교정된 음성 인식 결과 텍스트, 자동 번역 텍스트 및 확장 텍스트 중 적어도 하나를 수신하고, 수신된 텍스트에 대응하는 음성을 합성하여 합성음을 입출력부(100)로 출력한다.The multilingual speech synthesis module 800 receives at least one of error-corrected speech recognition result text, automatic translation text, and extended text from the paraphrase processing module 600, synthesizes speech corresponding to the received text, and inputs and outputs a synthesized sound. Output to the sub (100).

그러므로 외국어 학습 장치(10)는 학습자의 생활 언어 발화를 음성 입력으로 수신하여, 번역하여 학습 대상 언어의 합성음을 인터랙티브 캐릭터와 함께 출력할 수 있을 뿐만 아니라, 인터랙티브 캐릭터의 특성이나 학습자의 이전 음성 입력을 바탕으로 학습 대상 언어를 확장하여 출력할 수 있다. 뿐만 아니라, 학습자의 학습 대상 언어 발화를 음성 입력으로 수신하여, 학습자의 학습 대상 언어 발화의 오류를 분석 및 교정하고, 인터랙티브 캐릭터를 통해 오류가 발생한 부분을 학습자가 인식할 수 있도록 함으로서, 학습자가 잦은 오류에도 스트레스를 받지 않고 오류를 수정할 수 있도록 한다.Therefore, the foreign language learning device 10 can receive and translate the speech of the learner's life language as a voice input, and output the synthesized sound of the language to be learned together with the interactive character, as well as the characteristics of the interactive character or the learner's previous voice input. Based on this, the language to be studied can be expanded and output. In addition, by receiving the learner's utterance of the target language as a voice input, analyzing and correcting errors in the learner's utterance of the target language, and allowing the learner to recognize the part where the error has occurred through interactive characters, It makes it possible to correct errors without stressing them.

도1 의 외국어 학습 장치(10)는 스마트 폰이나 스마트 패드와 같은 스마트 기기를 포함하는 모바일 기기 및 PC와 같은 정보 처리 기기의 형태로 구현될 수 있다. 이 경우 입출력부(100)는 정보 처리 기기의 사용자 인터페이스로 구현될 수도 있다.The foreign language learning apparatus 10 of FIG. 1 may be implemented in the form of a mobile device including a smart device such as a smart phone or a smart pad, and an information processing device such as a PC. In this case, the input/output unit 100 may be implemented as a user interface of an information processing device.

또한 외국어 학습 장치(10)의 구성 요소들은 어플리케이션 소프트웨어 모듈의 형태로 구현될 수 있다. 외국어 학습 장치(10)의 구성 요소들이 어플리케이션 소프트웨어 모듈의 형태로 구현되는 경우에, 입출력부(100)는 정보 처리 기기의 운영체제(Operation System)와 같은 어플리케이션과 입출력 관련 통신을 수행하는 통신 모듈로 구현될 수 있다.Also, the components of the foreign language learning apparatus 10 may be implemented in the form of an application software module. When the components of the foreign language learning device 10 are implemented in the form of an application software module, the input/output unit 100 is implemented as a communication module that performs input/output-related communication with an application such as an operating system of an information processing device. Can be.

또한 상기에서는 입출력부(100)를 통해 인가되는 입력 음성의 언어나 출력될 합성음의 언어에 대한 설정을 개별 구성이 직접 수신하여 처리하는 것으로 설명하였으나, 별도의 학습 설정부(미도시)를 추가로 구비하여 학습 설정을 저장할 수도 있다. 학습 설정에는 입력 음성의 언어나 출력될 합성음의 언어에 대한 설정 뿐만 아니라 사용자 정보나 캐릭터 설정 등이 포함될 수 있다.
In addition, in the above, it has been described that the setting for the language of the input voice applied through the input/output unit 100 or the language of the synthesized sound to be output is directly received and processed, but a separate learning setting unit (not shown) is added. It can also be equipped to store learning settings. The learning setting may include user information or character setting, as well as setting of a language of an input voice or a synthesized sound to be output.

도2 는 본 발명의 일 실시예에 따른 인터랙티브 캐릭터 기반 외국어 학습 방법을 나타낸다.2 shows a foreign language learning method based on an interactive character according to an embodiment of the present invention.

도1 을 참조하여, 도2 의 인터랙티브 캐릭터 기반 외국어 학습 방법을 설명하면, 우선 외국어 학습 장치(10)는 입출력부(100)를 통해 설정 명령을 수신하여 학습 설정을 수행한다(S10). 학습 설정은 음성 입력 언어 및 출력 언어에 대한 언어 설정과 캐릭터 설정 등이 포함된다. 음성 입력 언어는 학습자의 생활 언어 및 학습 대상 언어가 모두 포함되어 설정될 있으며, 출력 언어는 학습 대상 언어가 설정될 수 있다. 경우에 따라서는 출력 언어가 학습 대상 언어뿐만 아니라 생활 언어가 포함될 수도 있다. 이는 인터랙티브 캐릭터가 학습자의 생활 언어로 학습자와 대화하는 것처럼 학습자에게 느끼게끔 하여 학습자의 외국어 학습에 스트레스를 줄여주기 위함이다.Referring to FIG. 1, the interactive character-based foreign language learning method of FIG. 2 will be described. First, the foreign language learning apparatus 10 receives a setting command through the input/output unit 100 and performs learning setting (S10). The learning setting includes language setting for voice input language and output language, and character setting. The voice input language may be set to include all of the learner's life language and the language to be learned, and the language to be learned may be set as the output language. In some cases, the output language may include not only the language to be learned but also the living language. This is to reduce the stress on the learner's foreign language learning by making the learner feel as if the interactive character communicates with the learner in the learner's life language.

학습 설정이 수행되면 음성 인식부(200)는 입출력부(100)를 통해 음성 입력이 수신되는지 판별한다(S20). 만일 음성 입력이 수신되면, 음성 인식을 수행하여 음성 인식 결과 텍스트를 생성한다(S30). 이때 입력되는 음성은 학습자의 생활 언어로 입력될 수도 있으며, 학습 대상 언어로 입력 될 수 있다. 음성 인식부(200)는 음성 입력이 학습자의 생활 언어이든 학습 대상 언어이든 무관하게 음성인식을 수행한다. 여기서 음성 인식부(200)는 음성 입력이 학습자의 생활 언어이면, L3 사용자 음향 모델 및 L3 사용자 언어 모델을 이용하여 음성인식을 수행한다. 그러나 음성 입력이 학습 대상 언어이면, L1 및 L2 사용자 음향 모델과 L1 및 L2 사용자 언어 모델을 이용하여 음성 인식을 수행한다. 본 발명의 음성 인식부(200)는 학습 대상 언어에 대한 음성 입력을 학습 대상 언어가 생활 언어인 사용자들의 L1 사용자 음향 모델과 L1 사용자 언어 모델만을 이용하여 음성 인식을 수행하는 것이 아니라, 학습자와 동일한 생활 언어를 사용하는 사람들의 학습 대상 언어에 대한 L2 음향 모델 및 L2 언어 모델을 함께 사용함으로써, 음성 인식률을 크게 높일 수 있다. 또한 음성 입력이 학습 대상 언어인 경우에, L1 및 L2 사용자 음향 모델을 결합한 L1 + L2 사용자 음향 모델과 L1 및 L2 사용자 언어 모델을 결합한 L1 + L2 사용자 언어 모델을 이용하여 음성 인식을 수행할 수도 있다.When the learning setting is performed, the voice recognition unit 200 determines whether a voice input is received through the input/output unit 100 (S20). If a voice input is received, voice recognition is performed to generate a voice recognition result text (S30). At this time, the input voice may be input in the learner's living language or in the language to be learned. The voice recognition unit 200 performs voice recognition regardless of whether the voice input is a life language of a learner or a language to be learned. Here, if the voice input is the learner's life language, the voice recognition unit 200 performs voice recognition using the L3 user acoustic model and the L3 user language model. However, if the voice input is a language to be learned, voice recognition is performed using the L1 and L2 user acoustic models and the L1 and L2 user language models. The speech recognition unit 200 of the present invention does not perform speech recognition using only the L1 user acoustic model and the L1 user language model of users whose learning target language is a living language, but the same as the learner. By using the L2 acoustic model and the L2 language model for the language to be learned of people who use living languages together, the speech recognition rate can be greatly increased. In addition, when the speech input is a language to be learned, speech recognition may be performed using the L1 + L2 user acoustic model that combines the L1 and L2 user acoustic models and the L1 + L2 user language model that combines the L1 and L2 user language models. .

음성 입력에 대한 음성 인식이 수행되어 음성 인식 결과 텍스트가 생성되면, 문장 분석 및 교정부(300)에서 음성 인식 결과 텍스트의 오류를 교정하여 정문으로 변환한다(S40). 이때 문장 분석 및 교정부(300)는 오류를 교정하기 위해 음성 인식 결과 텍스트를 n-gram 의 형태로 변환하고, 변환된 n-gram을 키워드로 하여 오류 교정 데이터베이스(310)의 오류 패턴을 검색함으로써, 오류를 교정한다. When the speech recognition for the speech input is performed to generate the speech recognition result text, the sentence analysis and correction unit 300 corrects an error in the speech recognition result text and converts it into a front door (S40). At this time, the sentence analysis and correction unit 300 converts the speech recognition result text into an n-gram form to correct an error, and searches the error pattern of the error correction database 310 using the converted n-gram as a keyword. , Correct the error.

오류가 교정된 음성 인식 결과 텍스트가 학습 설정에서 출력되어야 하는 언어와 동일한지 판별한다(S50). 즉 음성 입력 언어와 출력 언어가 동일한지 판별한다. 만일 음성 입력 언어와 출력 언어가 동일하지 않다면, 다국어 자동 번역 모듈(500)이 음성 인식 결과 텍스트를 출력 언어에 따라 자동 번역을 수행한다(S60). 만일 음성 입력 언어와 출력 언어가 동일하다면, 자동 번역을 수행하지 않는다.It is determined whether the error-corrected speech recognition result text is the same as the language to be output in the learning setting (S50). That is, it is determined whether the voice input language and the output language are the same. If the speech input language and the output language are not the same, the multilingual automatic translation module 500 performs automatic translation of the speech recognition result text according to the output language (S60). If the voice input language and output language are the same, automatic translation is not performed.

그리고 음성 인식 결과 텍스트가 자동 번역되거나, 또는 번역되지 않은 학습 대상 언어 텍스트를 패러프레이징 처리 모듈(600)에서 확장한다. 패러프레이징 처리 모듈(600)은 우선 학습 대상 언어 텍스트를 분석하여 학습 설정에 의해 설정된 캐릭터의 특성에 따라 출력할 문장 후보를 추출하여 출력 문장을 확장한다(S70). 캐릭터 특성에 따라 출력 문장을 확장하고 나면, 학습자가 이전에 학습자가 이전에 발화하여 음성 입력으로 입력하고 음성 인식된 음성 인식 결과 텍스트를 결합하여 출력할 문장 후보를 생성하여 출력 문장을 확장한다(S80). 출력 문장이 확장되면, 확장된 출력 문장 중에서 합성음으로 출력할 문장을 선택하고, 선택된 출력 문장을 음성 합성한다(S90).In addition, the speech recognition result text is automatically translated or the non-translated learning target language text is expanded in the paraphrase processing module 600. The paraphrase processing module 600 first analyzes the language text to be learned, extracts a sentence candidate to be output according to the character characteristic set by the learning setting, and expands the output sentence (S70). After expanding the output sentence according to the character characteristic, the learner expands the output sentence by generating a sentence candidate to be output by combining the speech recognition result text, which was previously spoken by the learner and input it as a voice input (S80). ). When the output sentence is expanded, a sentence to be output as a synthesized sound is selected from among the expanded output sentences, and the selected output sentence is synthesized by speech (S90).

한편 학습자 평가부(400)는 음성 입력을 L1 음향 모델과 비교하여 음향 유사도를 계산하고, 음성 인식 결과 텍스트를 L1 언어 모델과 비교하여 언어 유사도를 계산하며, 음성 인식 결과 텍스트와 문장 분석 및 교정부(300)에서 오류 교정된 음성 인식 결과 텍스트를 비교하여 오류 유사도를 계산하여 학습자의 학습 성취도를 평가한다(S100).Meanwhile, the learner evaluation unit 400 compares the speech input with the L1 acoustic model to calculate the acoustic similarity, compares the speech recognition result text with the L1 language model to calculate the language similarity, and analyzes and corrects the speech recognition result text and sentences. The error-corrected speech recognition result text is compared at (300) and error similarity is calculated to evaluate the learner's learning achievement (S100).

그리고 음성 합성된 합성음과 학습 평가 결과를 인터랙티브 캐릭터의 애니메이션과 음성의 형태로 출력하여, 학습자에게 피드백한다(S110). 여기서 캐릭터 애니메이션은 음성 인식 평가 결과, 문장 의미 평가 결과 등으로 세부적으로 표시할 수 있으며, 학습자의 발화에서 오류가 발생한 부분을 지적하고 올바른 발음을 함께 출력할 수 도 있다.
Then, the synthesized speech synthesized by the speech and the learning evaluation result are output in the form of an interactive character animation and speech, and are fed back to the learner (S110). Here, the character animation can be displayed in detail as a result of speech recognition evaluation, sentence meaning evaluation, etc., and it is also possible to point out an error in the learner's speech and output the correct pronunciation together.

본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The method according to the present invention can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of the recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed over a computer system connected through a network to store and execute computer-readable codes in a distributed manner.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the technical idea of the attached registration claims.

Claims

An input/output unit configured to receive a voice input spoken by the learner in one of a living language and a language to be learned as a language that the learner normally uses, and output at least one of a synthesized sound and a learning evaluation result;
A voice recognition unit configured to receive the voice input, perform voice recognition, and output a text as a result of voice recognition;
A sentence analysis and correction unit for receiving the speech recognition result text, correcting errors in the speech recognition result text, and generating a similar sentence;
A multilingual automatic translation module for generating an automatic translation text by automatically translating the speech recognition result text in response to the output language when the language and the output language of the speech recognition result text corrected for errors in the sentence analysis and correction unit are different from each other ;
Multilingual speech synthesis module for receiving at least one of the error-corrected speech recognition result text and the automatic translation text, synthesizing a speech corresponding to the received text according to characteristics of a preset interactive character, and outputting a synthesized sound to the input/output unit ; And
A learning evaluation unit that evaluates the learner's ability to use language and outputs an evaluation result to the input/output unit; A foreign language learning device comprising a.

The method of claim 1, wherein the speech recognition unit
The L3 acoustic model of the people who use the living language that the learner normally uses, the L2 acoustic model of the people who use the same living language as the learner, and the L1 of the people whose learning target language is a living language An L123 user acoustic model database for storing an L123 user acoustic model including an acoustic model;
An L3 language model of people who use the same living language as the learner, an L2 acoustic model for the same learning target language of people who use the same living language as the learner, and an L1 acoustic model of people whose learning target language is a living language. An L123 user language model database for storing the L123 user acoustic model including; And
A multilingual speech recognition module that converts the speech input into text as a result of the speech recognition using the L123 user acoustic model and the L123 user language model; Foreign language learning apparatus comprising a.

The method of claim 2, wherein the L123 user acoustic model database
Store the L1 + L2 acoustic model in which the L1 acoustic model and the L2 acoustic model are combined,
The L123 user language model database
A foreign language learning apparatus comprising storing an L1 + L2 language model in which an L1 language model and an L2 language model are combined.

The method of claim 3, wherein the multilingual speech recognition module
When the voice input is the learner's living language, speech recognition is performed using the L3 acoustic model and the L3 language model,
When the speech input is the language to be learned, speech recognition is performed using the L1 + L2 acoustic model and the L1 + L2 language model.

The method of claim 2, wherein the sentence analysis and correction unit
An error correction database storing errors occurring in the text as a result of existing speech recognition for the living language and the language to be learned and an error pattern in which correction information is accumulated;
A sentence error correction module for correcting an error by searching for an error in the text as a result of the speech recognition from the error pattern;
A similar sentence database storing a similar sentence pattern including a plurality of similar sentences that are semantically similar in the living language and the language to be learned; And
A similar sentence generation module for obtaining a sentence semantically similar to the text as a result of the speech recognition by searching for the similar sentence pattern; Foreign language learning apparatus comprising a.

The method of claim 5, wherein the sentence error correction module
Converting the speech recognition result text into an n-gram form, searching for the error pattern of the error correction database using the converted n-gram as a keyword, obtaining correction information for an error from the searched error pattern, and And correcting errors by replacing the obtained correction information with the n-gram of the search keyword.

The method of claim 5, wherein the sentence error correction module
An important vocabulary is extracted from the speech recognition result text in a predetermined manner, a similar sentence pattern of the similar sentence database is searched using the important vocabulary as a keyword, and the voice recognition result text among similar sentence candidates retrieved from the similar sentence pattern And a predetermined number of the similar sentence candidates having the most similar character string configurations as the similar sentences.

The method of claim 5, wherein the learning evaluation unit
An L1 user acoustic model database storing the L1 acoustic model;
An L1 user language model database that stores the L1 language model; And
The speech input and the L1 acoustic model are compared to calculate the acoustic similarity, the speech recognition result text and the L1 language model are compared to calculate the language similarity, and the speech recognition result text and the sentence analysis and correction unit A learner evaluation module that compares the corrected speech recognition result text to calculate an error similarity, integrates the sound similarity, the language similarity, and the error similarity to digitize in a preset manner to generate the evaluation result; Foreign language learning apparatus comprising a.

The method of claim 8, wherein each of the L1 user acoustic model database and the L1 user language model database
A foreign language learning apparatus comprising and implemented in the L123 user acoustic model database and the L123 user language model database.

The method of claim 1, wherein the foreign language learning device
Receives at least one of the error-corrected speech recognition result text or automatic translation text, and expands the speech recognition result text or automatic translation text by using the preset characteristics of the interactive character and the previously stored speech recognition result texts of the learner. A paraphrase processing module configured to generate an extended sentence; A foreign language learning device, characterized in that it further comprises.

The method of claim 10, wherein the paraphrase processing module
A text analysis module that receives at least one of the error-corrected speech recognition result text and the automatic translation text, and extracts a characteristic keyword by analyzing the syntax and meaning of the text in order to expand the received text;
A character characteristic database for storing characteristic information of the interactive characters provided by the foreign language learning device;
A character characteristic management module that matches a keyword of the speech recognition result text analyzed by the text analysis module with keyword values of the character characteristic database to expand the sentence of the speech recognition result text;
A session history database for storing speech recognition result texts, which the learner has previously spoken and input as the voice input; And
A session history management module configured to expand a sentence by combining the speech recognition result text stored in the session history database with the speech recognition result text uttered by a current learner; Foreign language learning apparatus comprising a.

The method of claim 11, wherein the multilingual speech synthesis module
And generating the synthesized sound by receiving at least one of the error-corrected speech recognition result text, the automatic translation text, and the expanded sentence.

The method of claim 1, wherein the input/output unit
A foreign language learning device, characterized in that it is implemented as a communication module that performs input/output-related communication with an information processing device.

In a foreign language learning support method performed by a foreign language learning apparatus including an input/output unit, a speech recognition unit, a sentence analysis and correction unit, a learning evaluation unit, a multilingual automatic translation module, a paraphrase processing module, and a multilingual speech synthesis module,
Receiving a setting command by the input/output unit and performing learning setting including language setting for a voice input language and an output language and interactive character setting;
When the voice input is received, the voice recognition unit performs voice recognition to generate a voice recognition result text;
Correcting an error in the text as a result of the speech recognition by the sentence analysis and correction unit;
Determining, by the multilingual automatic translation module, whether the speech recognition result text in which the error is corrected is the same as the output language set in the learning setting;
If the error-corrected speech recognition result text and the output language are not the same, generating an automatic translation text by automatically translating the error-corrected speech recognition result text according to the output language;
The paraphrase processing module receives at least one of the speech recognition result text and the automatic translation text in which the error has been corrected, and uses the received text using preset characteristics of the interactive character and the previously stored texts of the speech recognition result of the learner. Thus, generating an extended sentence;
Receiving, by the multilingual speech synthesis module, at least one of the error-corrected speech recognition result text, the automatic translation text, and the expanded sentence, and synthesizing the corresponding speech according to characteristics of a preset interactive character to generate a synthesized sound;
Generating an evaluation result by evaluating the learner's language use ability by the learning evaluation unit; And
Outputting the synthesized sound and the evaluation result by the input/output unit; Foreign language learning support method, including.

The method of claim 14, wherein generating the speech recognition result text comprises:
If the voice input is the learner's living language, converting the voice input into the voice recognition result text using an L3 acoustic model and an L3 language model of people who use the everyday life language used by the learner; And
When the voice input is a learning target language, L2 acoustic models for the same learning target language of people who use the same living language as the learner and L1 sound models of people whose learning target languages are living languages are combined L1 + L2 The speech using an L1 + L2 language model in which an acoustic model and an L2 language model for the same language to be learned by people who use the same living language as the learner and an L1 language model for people whose language to be learned is a living language are combined A foreign language learning support method, characterized in that the recognition result is converted into text.

The method of claim 15, wherein correcting the error
The error is corrected by searching for the error of the speech recognition result text from the error pattern stored by accumulating errors occurring in the existing speech recognition result text and correction information for the living language and the language to be learned. How to apply for foreign language study

The method of claim 16, wherein correcting the error
Converting the speech recognition result text into an n-gram format;
Searching for the error pattern using the converted n-gram as a keyword; And
Acquiring correction information set in the error pattern to correct an error; Foreign language learning support method comprising a.

The method of claim 15, wherein generating the extended sentence comprises:
Analyzing at least one phrase and meaning of the error-corrected speech recognition result text and the automatic translation text to extract a characteristic keyword;
Expanding a sentence by matching a keyword of the analyzed speech recognition result text with pre-stored characteristic information of the interactive characters; And
Expanding a sentence by combining the analyzed speech recognition result text with the previously stored speech recognition result text by the learner; Foreign language learning support method comprising a.

The method of claim 15, wherein generating the evaluation result
Calculating an acoustic similarity by comparing the voice input and the L1 acoustic model;
Calculating a language similarity by comparing the speech recognition result text with the L1 language model;
Calculating an error similarity by comparing the speech recognition result text with the error-corrected speech recognition result text; And
Generating the evaluation result by integrating the sound similarity, the language similarity, and the error similarity to quantify in a preset manner; Foreign language learning support method comprising a.

A computer-readable recording medium storing a program for performing the foreign language learning support method according to any one of claims 14 to 19.