[go: up one dir, main page]

KR20140004515A - 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법 - Google Patents

디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법 Download PDF

Info

Publication number
KR20140004515A
KR20140004515A KR20120072448A KR20120072448A KR20140004515A KR 20140004515 A KR20140004515 A KR 20140004515A KR 20120072448 A KR20120072448 A KR 20120072448A KR 20120072448 A KR20120072448 A KR 20120072448A KR 20140004515 A KR20140004515 A KR 20140004515A
Authority
KR
South Korea
Prior art keywords
user
voice
server
response
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR20120072448A
Other languages
English (en)
Inventor
허혜현
김기석
손혜림
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20120072448A priority Critical patent/KR20140004515A/ko
Priority to US13/918,034 priority patent/US9412368B2/en
Priority to PCT/KR2013/005841 priority patent/WO2014007502A1/en
Priority to CN201310275895.5A priority patent/CN103533021A/zh
Priority to EP20130174664 priority patent/EP2683175A1/en
Priority to MX2014014794A priority patent/MX341169B/es
Priority to BR112014032092A priority patent/BR112014032092A2/pt
Priority to RU2015103239/07A priority patent/RU2583445C1/ru
Priority to JP2013139935A priority patent/JP2014013569A/ja
Publication of KR20140004515A publication Critical patent/KR20140004515A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/72—Systems specially adapted for using specific information, e.g. geographical or meteorological information using electronic programme guides [EPG]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법이 개시된다. 본 발명에 따른 디스플레이 장치는, 사용자 음성을 수집하기 위한 음성 수집부, 대화형 서버와 통신을 수행하는 통신부, 및 대화형 서버로 전송된 사용자 음성에 대응되는 응답 정보가 대화형 서버로부터 수신되면, 응답 정보에 기초하여 사용자 음성에 대응되는 동작을 수행하도록 제어하는 제어부를 포함하며, 제어부는, 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지가 대화형 서버로부터 수신되면, 웹 서치 및 소셜 네트워크 서비스 중 적어도 하나를 통해 사용자 음성과 관련된 대체 응답 정보를 수신하도록 통신부를 제어한다. 이에 따라, 디스플레이 장치는 사용자의 다양한 사용자 음성에 적합한 응답 정보를 제공할 수 있다.

Description

디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법{Display apparatus, interactive server and method for providing response information}
본 발명은 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법에 관한 것으로서, 보다 상세하게는 사용자의 발화 음성에 대응하는 응답 정보를 제공하기 위한 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법에 관한 것이다.
일반적으로, 음성 인식이 가능한 디스플레이 장치는 사용자가 실행하고자 하는 사용자의 발화 음성을 수집하고, 그 수집한 발화 음성을 네트워크를 통해 연결된 외부 서버로 전송한다. 이후, 디스플레이 장치는 외부 서버로부터 디스플레이 장치에서 인식 가능한 형태로 변환된 사용자의 발화 음성 관련 정보를 수신하고, 그 수신한 발화 음성 관련 정보를 분석하여 사용자의 발화 음성에 대한 의미를 파악한다. 이후, 디스플레이 장치는 의미 파악된 결과에 기초하여 사용자의 발화 음성에 대응하는 기능을 실행하고, 필요에 따라서 사용자의 발화 음성에 대한 안내 메시지를 출력한다.
그러나, 이 같은 종래의 디스플레이 장치는 사용자의 발화 음성에 대응하는 기능을 실행하는데 있어서 매우 제한적일 뿐만 아니라, 단순히 사용자의 발화 음성에 대응하는 기능을 실행하거나 회피하는 정도의 기능만을 수행한다.
구체적으로, 디스플레이 장치는 사용자의 요청에 따라 음성 인식 모드로 진입하면, 사용자의 발화 음성을 통해 디스플레이 장치의 동작을 제어할 수 있는 명령어를 화면상에 디스플레이한다. 따라서, 사용자는 화면상에 디스플레이된 디스플레이 장치의 동작 제어와 관련된 명령어를 참조하여 자신이 원하는 기능에 대한 동작을 음성으로 명령할 수 있다.
즉, 종래의 디스플레이 장치는 기설정된 명령어에 기초하여 사용자의 발화 음성에 대응하는 동작을 수행하거나 혹은 발화 음성에 대한 재요청만을 수행할 뿐, 사용자의 다양한 발화 음성에 대해서 상이한 응답 정보를 제공하지 못하는 문제가 있다.
따라서, 이 같은 문제점을 해소하고자 디스플레이 장치는 사용자로부터 발화 음성과 관련된 정보를 입력받고, 웹 서치를 통해 사용자로부터 입력된 정보에 기초하여 사용자의 요청에 대한 응답 정보를 제공하는 방법이 모색되었다. 그러나, 이 같은 방법 또한, 사용자가 요청한 질문에 대한 정확한 응답 정보를 제공하지 못하는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 디스플레이 장치에서 사용자의 다양한 발화 음성에 대해서 보다 정확한 응답 정보를 제공할 수 있도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자 음성을 수집하기 위한 음성 수집부, 대화형 서버와 통신을 수행하는 통신부, 및 대화형 서버로 전송된 상기 사용자 음성에 대응되는 응답 정보가 상기 대화형 서버로부터 수신되면, 상기 응답 정보에 기초하여 상기 사용자 음성에 대응되는 동작을 수행하도록 제어하는 제어부를 포함하며, 상기 제어부는, 상기 사용자 음성에 대응되는 상기 응답 정보에 대한 제공 불가 메시지가 상기 대화형 서버로부터 수신되면, 웹 서치 및 소셜 네트워크 서비스 중 적어도 하나를 통해 상기 사용자 음성과 관련된 대체 응답 정보를 수신하도록 상기 통신부를 제어한다.
그리고, 출력부를 더 포함하며, 상기 제어부는, 상기 대화형 서버로부터 상기 응답 정보에 대한 제공 불가 메시지와 함께 상기 사용자 음성 내에 포함된 발화 요소가 수신되면, 상기 웹 서치 및 소셜 네트워크 서비스 중 하나를 통해 상기 발화 요소와 관련된 대체 응답 정보를 수신하여 출력하도록 상기 출력부를 제어할 수 있다.
또한, 상기 제어부는, 상기 웹 서치를 수행하기 위한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 웹 서치에 대한 결과를 수신하여 출력하도록 제어할 수 있다.
그리고, 상기 제어부는, 상기 소셜 네트워크 서비스에 대한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 응답 요청 메시지를 생성하여 상기 소셜 네트워크 서비스를 제공하는 SNS 서버로 전송하고, 상기 SNS(Social Network Service) 서버로부터 상기 응답 요청 메시지에 대응되는 응답 메시지를 수신하여 출력할 수 있다.
또한, 상기 제어부는, 사용자 명령에 따라 상기 사용자의 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 사용자의 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력할 수 있다.
그리고, 상기 제어부는, 사용자 명령에 따라 상기 사용자의 SNS 계정과 연동된 SNS 계정 중 선택된 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 선택된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력할 수 있다.
또한, 상기 제어부는, 사용자 명령에 따라 기설정된 공용 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 공용 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력할 수 있다.
그리고, 상기 제어부는, 상기 응답 메시지가 수신되면, 상기 응답 메시지 수신을 알리는 알림 정보를 출력하도록 제어할 수 있다.
또한, 상기 대화형 서버는, 상기 수집된 음성을 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 음성에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며, 상기 제어부는, 상기 수집된 음성을 디지털 신호로 변환하여 상기 제1 서버로 전송하고, 상기 제1 서버로부터 상기 사용자 음성에 대한 텍스트 정보가 수신되면, 상기 텍스트 정보를 상기 제2 서버로 전송하여 상기 사용자 음성에 대응되는 응답 정보를 수신할 수 있다.
그리고, 상기 제2 서버는, 상기 사용자 음성 내에 EPG 관련 발화 요소 또는 상기 디스플레이 장치의 동작 제어 관련 발화 요소가 포함된 경우, 상기 제2 서버로부터 수신한 응답 정보에 기초하여 상기 사용자 음성에 대응되는 응답 메시지 출력 및 기능 실행 중 적어도 하나의 동작을 수행할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치에서 사용자 음성에 적합한 응답 정보를 제공하는 방법에 있어서, 상기 방법은 사용자 음성을 수집하는 단계, 상기 수집된 사용자 음성을 대화형 서버로 전송하는 단계, 상기 대화형 서버로부터 상기 사용자 음성에 대응되는 응답 정보가 수신되는지를 체크하는 단계 및 상기 체크 결과, 상기 사용자 음성에 대응되는 응답 정보가 수신되면, 상기 응답 정보에 기초하여 상기 사용자 음성에 대응되는 동작을 수행하는 단계를 포함하며, 상기 동작을 수행하는 단계는, 상기 체크 결과, 상기 사용자 음성에 대응되는 상기 응답 정보에 대한 제공 불가 메시지가 수신되면, 웹 서치 및 소셜 네트워크 서비스 중 적어도 하나를 통해 상기 사용자 음성과 관련된 대체 응답 정보를 수신하여 출력할 수 있다.
그리고, 상기 동작을 수행하는 단계는, 상기 대화형 서버로부터 상기 응답 정보에 대한 제공 불가 메시지와 함께 상기 사용자 음성 내에 포함된 발화 요소가 수신되면, 상기 웹 서치 및 소셜 네트워크 서비스 중 하나를 통해 상기 발화 요소와 관련된 대체 응답 정보를 수신하여 출력할 수 있다.
또한, 상기 동작을 수행하는 단계는, 상기 웹 서치를 수행하기 위한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 웹 서치에 대한 결과를 수신하여 출력할 수 있다.
그리고, 상기 동작을 수행하는 단계는, 상기 소셜 네트워크 서비스에 대한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 응답 요청 메시지를 생성하여 상기 소셜 네트워크 서비스를 제공하는 SNS 서버로 전송하고, 상기 SNS(Social Network Service) 서버로부터 상기 응답 요청 메시지에 대응되는 응답 메시지를 수신하여 출력할 수 있다.
또한, 상기 동작을 수행하는 단계는, 사용자 명령에 따라 상기 사용자의 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 사용자의 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력할 수 있다.
그리고, 상기 동작을 수행하는 단계는, 사용자 명령에 따라 상기 사용자의 SNS 계정과 연동된 SNS 계정 중 선택된 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 선택된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력할 수 있다.
또한, 상기 동작을 수행하는 단계는, 사용자 명령에 따라 기설정된 공용 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 공용 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력할 수 있다.
그리고, 상기 동작을 수행하는 단계는, 상기 응답 메시지가 수신되면, 상기 응답 메시지 수신을 알리는 알림 정보를 출력할 수 있다.
또한, 상기 대화형 서버는, 상기 수집된 사용자 음성을 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 사용자 음성에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며, 상기 전송하는 단계는, 상기 사용자 음성에 대한 디지털 신호로 상기 제1 서버로 전송하는 단계, 상기 제1 서버로부터 상기 사용자 음성에 대한 텍스트 정보를 수신하는 단계, 상기 수신한 텍스트 정보를 상기 제2 서버로 전송하는 단계 및 상기 제2 서버로부터 상기 사용자 음성에 대응되는 응답 정보를 수신하는 단계를 포함할 수 있다.
그리고, 상기 동작을 수행하는 단계는, 상기 사용자 음성 내에 EPG 관련 발화 요소 또는 상기 디스플레이 장치의 동작 제어 관련 발화 요소가 포함된 경우, 상기 제2 서버로부터 수신한 응답 정보에 기초하여 상기 사용자 음성에 대응되는 응답 메시지 출력 및 기능 실행 중 적어도 하나의 동작을 수행할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 사용자의 다양한 사용자 음성이 입력되어도, 각각의 사용자 음성에 대해서 보다 정확한 응답 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 음성에 적합한 응답 정보를 제공하는 대화형 시스템의 블록도,
도 2는 본 발명의 일 실시예에 따른 대화형 시스템에서 사용자 음성에 적합한 응답 정보를 제공하는 방법의 절차도,
도 3은 본 발명의 일 실시예에 따른 대화형 시스템에서 사용자 음성과 관련된 대체 응답 정보를 제공하는 방법의 절차도,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 대체 정보 제공 메시지를 출력하는 예시도,
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 SNS를 통해 사용자 음성과 관련된 응답 메시지를 제공하는 예시도,
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도,
도 8은 본 발명의 일 실시예에 따른 대화형 서버의 블록도,
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 음성에 적합한 응답 정보를 제공받기 위한 방법의 흐름도,
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 음성과 관련된 대체 응답 정보를 제공하는 방법에 대한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일시 예를 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 사용자 음성에 적합한 응답 정보를 제공하는 대화형 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 대화형 시스템은 디스플레이 장치(100), 대화형 서버(200), 웹 서버(300) 및 SNS 서버(400)를 포함한다. 디스플레이 장치(100)는 인터넷 및 사용자 음성 인식이 가능한 장치로써, 스마트 TV, 스마트폰과 같은 휴대폰, 데스크탑 PC, 노트북, 네비게이션 등과 같은 다양한 전자 장치로 구현될 수 있다. 이 같은 디스플레이 장치(100)는 사용자로부터 사용자 음성이 입력되면, 입력된 사용자 음성을 디지털 신호로 변환하여 대화형 서버(200)로 전송한다. 이후, 대화형 서버(200)로부터 사용자 음성에 대응되는 응답 정보가 수신되면, 수신한 응답 정보에 기초하여 사용자 음성에 대응되는 동작을 수행한다.
대화형 서버(200)는 디스플레이 장치(100)와 연동하여 사용자 음성에 적합한 발화 정보를 제공하는 서버이다. 이 같은 대화형 서버(200)는 제1 서버(10) 및 제2 서버(20)로 구성되며, 제1 서버(10)는 디스플레이 장치(100)로부터 수신한 사용자 음성을 텍스트 정보로 변환하고, 텍스트 정보로 변환된 사용자 음성을 디스플레이 장치(100)로 전송한다. 그리고, 제2 서버(20)는 디스플레이 장치(100)로부터 텍스트 정보로 변환된 사용자 음성이 수신되면, 수신한 텍스트 정보를 분석하여 사용자 음성에 대응되는 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다.
본 발명에서는 대화형 서버(200)가 제1 및 제2 서버(20)를 통해 사용자 음성에 대응되는 응답 정보를 생성하여 디스플레이 장치(100)로 전송하는 것에 대해서 설명하였으나, 이는 본 발명의 일 실시예일 뿐, 구현 방식에 따라, 대화형 서버(200)는 단일 서버가 될 수도 있다. 단일의 대화형 서버(200)의 경우, 후술할 제1 서버(10) 및 제2 서버(20)의 동작을 모두 수행하기에 이하에서는 단일의 대화형 서버(200)에 대한 상세한 설명은 생략하도록 한다.
웹 서버(300)는 인터넷을 통해 접속한 디스플레이 장치(100)의 요청에 따른 웹 서치 결과 정보를 제공하는 서버이다. 그리고, SNS(Social Networking Service) 서버(400)는 웹 상에서 사용자들 간의 인적 네트워크를 형성할 수 있도록 트위터, 페이스북과 같은 소셜 네트워크 서비스(이하 SNS라 함)를 제공하는 서버로써, 이 같은 SNS를 통해 사용자들 간 정보 공유 및 커뮤니티를 할 수 있다.
이하에서는 전술한 대화형 시스템의 각 구성을 통해 사용자 음성에 적합한 응답 정보를 제공하는 동작에 대해서 개략적으로 설명하도록 한다.
디스플레이 장치(100)는 사용자로부터 음성이 입력되면, 입력된 사용자 음성을 수집하여, 그에 대응하는 동작을 수행한다. 예를 들어, 디스플레이 장치(100)는 채널 변경을 위한 사용자 음성이 입력되면, 해당 채널을 선국하여 디스플레이할 수 있다. 이 경우, 디스플레이 장치(100)는 해당 기능에 대응되는 응답 메시지를 함께 제공할 수도 있다. 상술한 예의 경우, 디스플레이 장치(100)는 변경된 채널에 대한 정보를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다. 또한, 디스플레이 장치(100)는 특정 프로그램의 방송 시간을 문의하는 사용자 음성이 입력되면, 해당 프로그램의 방송 시간을 음성 또는 텍스트 형태의 영상으로 출력할 수 있다.
이를 위해, 디스플레이 장치(100)는 수집된 사용자 음성을 디지털 신호로 변환하여 제1 서버(10)로 전송한다. 이에 따라, 제1 서버(10)는 디스플레이 장치(100)로부터 수신한 사용자 음성에 대한 특정 패턴에 따라, 사용자 음성에 대한 텍스트 정보를 생성하여 디스플레이 장치(100)로 전송한다. 사용자 음성으로부터 텍스트 정보를 생성하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
제1 서버(10)로부터 사용자 음성에 대한 텍스트 정보를 수신한 디스플레이 장치(100)는 사용자 음성에 대한 텍스트 정보를 제2 서버(20)로 전송한다. 이에 따라, 제2 서버(20)는 디스플레이 장치(100)로부터 수신한 사용자 음성에 대한 텍스트 정보에 대한 의미를 분석하여 디스플레이 장치(100)의 동작을 제어하기 위한 응답 정보를 생성할 수 있는지 여부를 판단한다.
구체적으로, 제2 서버(20)는 사용자 음성에 대한 텍스트 정보로부터 발화 요소를 추출하고, 그 추출된 발화 요소에 기초하여 사용자 음성과 관련된 응답 정보 생성이 가능한지를 판단한다. 여기서, 응답 정보는 사용자 음성에 대응하는 동작을 수행하기 위한 정보로써, 디스플레이 장치(100)의 기능 실행을 제어하기 위한 제어 명령 및 응답 메시지 중 적어도 하나를 포함할 수 있다. 또한, 발화 요소는 사용자 음성 내에서 사용자가 요청한 동작을 수행하기 위한 핵심 키워드가 될 수 있다. 이 같은 발화 요소는 화행, 주행 및 핵심 요소를 포함할 수 있다.
여기서, 화행(Dialog Act)은 사용자 음성에 대한 발화 내적 힘(Illocutionary force)을 나타내는 레이블로써, 예를 들어, 서술(Statement), 요청(Request), 질문(Question) 등이 될 수 있다. 주행(Main Goal)은 사용자 음성으로부터 실제 사용자의 의도을 나타내는 레이블을 말하는 것으로써, TV 온/오프, 프로그램 찾기, 프로그램 시간 찾기, 프로그램 예약 등이 될 수 있다. 그리고, 핵심 요소는 장르, 프로그램명, 시간, 채널명, 배우 이름 등이 될 수 있다.
예를 들어, "○○○(방송프로그램명)이 몇 시에 시작해?"라는 사용자 음성의 경우, 화행은 "해?"라는 질문이 될 수 있으며, 주행은 "시작"라는 프로그램 시간 찾기가 될 수 있다. 그리고, 핵심 요소는 "○○○(방송프로그램명)프로그램명"라는 프로그램명이 될 수 있다.
따라서, 제2 서버(20)는 "○○○(방송프로그램명)이 몇 시에 시작해?"라는 사용자 음성이 수신되면, 그 수신된 사용자 음성으로부터 화행, 주행 및 핵심 요소를 포함하는 발화 요소를 추출할 수 있다. 이와 같이, 사용자 음성으로부터 발화 요소가 추출되면, 제2 서버(20)는 추출한 발화 요소에 기초하여 사용자 음성에 대응하는 동작을 수행하기 위한 응답 정보 생성이 가능한지 여부를 판단할 수 있다.
판단 결과, 사용자 음성에 대응하는 동작을 수행하기 위한 응답 정보 생성이 가능하면, 제2 서버(20)는 사용자 음성에 대응하는 동작을 수행하기 위한 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다.
전술한 예에서, "○○○(방송프로그램명)이 몇 시에 방송해?"라는 사용자 음성에 대한 발화 요소가 추출되면, 제2 서버(20)는 추출한 발화 요소에 기초하여 해당 방송프로그램이 시작하는 방송 시간 정보에 대한 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 수신한 응답 정보에 기초하여 "○○○(방송프로그램명)은 7시에 방송 시작합니다."라는 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다.
한편, 판단 결과, 사용자 음성에 대응하는 동작을 수행하기 위한 응답 정보 생성이 불가능하면, 제2 서버(20)는 사용자 음성에 대한 제공 불가 메시지를 생성하여 디스플레이 장치(100)로 전송할 수 있다.
예를 들어, "○○○(방송프로그램명)에 바뀐 사회자가 누구야?"라는 사용자 음성에 대한 텍스트 정보가 수신되면, 제2 서버(20)는 "○○○(방송프로그램명)", "바뀐", "사회자", "누구야"라는 발화 요소를 추출할 수 있다. 이 같은 발화 요소가 추출되면, 제2 서버(20)는 추출한 발화 요소에 기초하여 기저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 새로운 사회자 관련 정보가 있는지를 체크한다. 체크 결과, 기저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 새로운 사회자 관련 정보 획득이 불가능하면, 제2 서버(20)는 사용자 음성에 대한 제공 불가 메시지를 디스플레이 장치(100)로 전송한다. 따라서, 디스플레이 장치(100)는 제2 서버(20)로부터 수신한 제공 불가 메시지에 기초하여 "찾을 수 없는 정보입니다"와 같은 안내 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력할 수 있다. 이와 함께, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지가 수신되면, 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 "웹 서치 또는 소셜 네트워크 서비스로 제공받으시겠습니까?"와 같은 대체 정보 제공 메시지를 출력한다.
이 같은 대체 정보 제공 메시지가 출력된 상태에서, 사용자로부터 웹 서치를 수행하기 위한 사용자 명령이 입력되면, 디스플레이 장치(100)는 제2 서버(20)로부처 추출된 발화 요소에 기초한 웹 서치 결과를 웹 서버(300)로부터 수신하여 음성 및 영상 중 적어도 하나를 통해 출력한다. 일 실시예에 따라, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지와 함께, 사용자 음성으로부터 추출된 발화 요소를 수신할 수 있다. 따라서, 디스플레이 장치(100)는 웹 서치를 수행하기 위한 사용자 명령이 입력되면, 제2 서버(20)로부터 수신한 발화 요소에 기초하여 웹 서버(300)로부터 웹 서치 결과를 수신할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 사용자로부터 웹 서치를 수행하기 위한 검색 키워드를 입력받아, 그 입력된 검색 키워드에 기초하여 웹 서버(300)로부터 웹 서치 결과를 수신할 수 있다.
한편, 사용자로부터 SNS에 대한 사용자 명령이 수신되면, 디스플레이 장치(100)는 제2 서버(20)로부터 추출된 발화 요소에 기초한 응답 요청 메시지를 생성한다. 일 실시예에 따라, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지와 함께, 사용자 음성으로부터 추출된 발화 요소를 수신할 수 있다. 따라서, 디스플레이 장치(100) SNS에 대한 사용자 명령이 수신되면, 제2 서버(20)로부터 수신한 발화 요소에 기초하여 응답 요청 메시지를 생성할 수 있다. 또다른 일 실시예에 따라, 디스플레이 장치(100)는 사용자로부터 입력된 데이터에 기초하여 응답 요청 메시지를 생성할 수 있다.
이 같은 응답 요청 메시지가 생성되면, 디스플레이 장치(100)는 생성된 응답 요청 메시지를 SNS 서버(400)로 전송한다. 이에 따라, SNS 서버(400)는 응답 요청 메시지를 전송한 사용자의 SNS 계정과 연동된 SNS 계정 또는 연동된 SNS 계정 중 사용자로부터 선택된 SNS 계정로부터 응답 요청 메시지와 관련된 응답 메시지를 수신하여 디스플레이 장치(100)로 전송한다. 한편, SNS 서버(400)는 응답 요청 메시지를 전송한 사용자의 SNS 계정이 없는 경우, 기설정된 공용 SNS 계정과 연동된 공용 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신하여 디스플레이 장치(100)로 전송할 수 있다. 따라서, 디스플레이 장치(100)는 SNS 서버(400)로부터 수신한 응답 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력한다.
이와 같이, 본 발명에 따른 대화형 시스템은 사용자 음성에 대응되는 응답 정보 제공이 불가능할 경우, 웹 서치 및 SNS를 이용하여 사용자 음성과 관련된 대체 응답 정보를 사용자에게 제공함으로써, 사용자 음성에 대한 응답 정보 제공의 실패 확률을 최소화할 수 있다.
지금까지, 본 발명의 일 실시예에 따른 대화형 시스템에서 사용자 음성에 적합한 응답 정보를 제공하는 동작에 대해서 개략적으로 설명하였다. 이하에서는, 본 발명에 따른 대화형 시스템에서 사용자 음성에 적합한 응답 정보를 제공하는 방법에 대해서 개략적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 대화형 시스템에서 사용자 음성에 적합한 응답 정보를 제공하는 방법의 절차도이다.
도 2에 도시된 바와 같이, 디스플레이 장치(100)는 사용자로부터 발화된 사용자 음성이 입력되면, 입력된 사용자 음성을 수집한다. 이후, 디스플레이 장치(100)는 수집한 사용자 음성을 디지털 신호로 변환하여, 디지털 신호로 변환된 사용자 음성을 제1 서버(10)로 전송한다(S210,S220). 이에 따라, 제1 서버(10)는 디스플레이 장치(100)로부터 디지털 신호로 변환된 사용자 음성을 텍스트 정보를 생성한 후, 생성된 텍스트 정보를 디스플레이 장치(100)로 전송한다(S230,S240). 이후, 디스플레이 장치(100)는 제1 서버(10)로부터 수신한 텍스트 정보를 제2 서버(20)로 전송한다(S250). 디스플레이 장치(100)로부터 텍스트 정보로 변환된 사용자 음성을 수신한 제2 서버(20)는 수신한 텍스트 정보로부터 발화 요소를 추출한다(S260). 제2 서버(20)에서 사용자 음성에 대한 텍스트 정보로부터 발화 요소를 추출하는 동작은 도 1을 통해 설명하였기에 생략하도록 한다.
이 같은 발화 요소가 추출되면, 제2 서버(20)는 추출한 발화 요소에 기초하여 사용자 음성에 대응하는 동작을 수행하기 위한 응답 정보 또는 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지를 생성한 후, 생성된 응답 정보 또는 제공 불가 메시지를 디스플레이 장치(100)로 전송한다(S270). 제2 서버(20)로부터 응답 정보 또는 제공 불가 메시지를 수신하는 디스플레이 장치(100)는 사용자 음성에 대응되는 응답 정보가 수신되면, 수신한 응답 정보에 기초하여 사용자 음성에 대응되는 동작을 수행한다.
실시예에 따라, 제2 서버(20)는 사용자 음성에 대한 텍스트 정보로부터 추출된 발화 요소가 기저장된 EPG 정보과 관련된 발화 요소이거나 혹은 디스플레이 장치(100)의 제어 명령과 관련된 발화 요소인지를 판단한다. 판단 결과, 추출된 발화 요소가 기저장된 EPG 정보과 관련된 발화 요소이거나 혹은 디스플레이 장치(100)의 제어 명령과 관련된 발화 요소이면, 제2 서버(20)는 사용자 음성에 대응되는 응답 정보를 생성하여 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 수신한 응답 정보에 기초하여 사용자 음성에 대응되는 응답 메시지 출력 및 기능 실행 중 적어도 하나의 동작을 수행한다.
한편, 판단 결과, 추출된 발화 요소가 기저장된 EPG 정보과 관련된 발화 요소이거나 혹은 디스플레이 장치(100)의 제어 명령과 관련된 발화 요소가 아니면, 제2 서버(20)는 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지를 생성하여 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 제2 서버(20)로부터 수신한 제공 불가 메시지에 기초하여 "찾을 수 없는 정보입니다"와 같은 안내 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력한다. 이와 함께, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지가 수신되면, 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 "웹 서치 또는 소셜 네트워크 서비스로 제공받으시겠습니까?"와 같은 대체 정보 제공 메시지를 출력한다. 이후, 사용자로부터 선택된 사용자 명령에 따라, 웹 서버(300) 또는 SNS 서버(400)를 통해 사용자 음성과 관련된 대체 응답 정보를 수신하여 음성 및 영상 중 적어도 하나를 통해 출력한다.
이하에서는, 대화형 시스템에서 디스플레이 장치(100)를 통해 사용자 음성과 관련된 대체 응답 정보를 제공하는 방법에 대해서 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 대화형 시스템에서 사용자 음성과 관련된 대체 응답 정보를 제공하는 방법의 절차도이다.
전술한 바와 같이, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지가 수신되면, "찾을 수 없는 정보입니다"와 같은 제공 불가 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력한다. 이후, 디스플레이 장치(100)는 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 "웹 서치 또는 소셜 네트워크 서비스로 제공받으시겠습니까?"와 같은 대체 정보 제공 메시지를 출력한다. 이 같은 대체 정보 제공 메시지가 출력된 상태에서, 디스플레이 장치(100)는 사용자로부터 웹 서치를 수행하기 위한 사용자 명령 혹은 SNS에 대한 사용자 명령이 입력되는지를 판단한다(S310). 판단 결과, 사용자 명령이 웹 서치를 수행하기 위한 명령이면, 디스플레이 장치(100)는 웹 서버(300)로 사용자 음성으로부터 추출된 발화 요소에 기초한 웹 서치를 요청하고, 그에 따른 웹 서치 결과 정보를 수신한다(S320,S330).
일 실시예에 따라, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지와 함께, 사용자 음성으로부터 추출된 발화 요소를 수신할 수 있다. 따라서, 디스플레이 장치(100)는 웹 서치를 수행하기 위한 사용자 명령이 입력되면, 제2 서버(20)로부터 수신한 발화 요소에 기초하여 웹 서버(300)로부터 웹 서치 결과 정보를 수신할 수 있다. 또다른 실시예에 따라, 디스플레이 장치(100)는 사용자로부터 웹 서치를 수행하기 위한 검색 키워드를 입력받아, 그 입력된 검색 키워드에 기초하여 웹 서버(300)로부터 웹 서치 결과를 수신할 수 있다. 이 같은 웹 서치 결과 정보가 웹 서버(300)로부터 수신되면, 디스플레이 장치(100)는 수신한 웹 서치 결과 정보를 음성 또는 영상으로 출력한다.
한편, 단계 S310에서 사용자 명령이 SNS에 대한 명령인 것으로 판단되면, 디스플레이 장치(100)는 사용자 음성으로부터 추출된 발화 요소에 기초한 응답 요청 메시지를 생성하여 SNS 서버(400)로 전송한다(S350).
일 실시예에 따라, 디스플레이 장치(100)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지와 함께, 사용자 음성으로부터 추출된 발화 요소를 수신할 수 있다. 따라서, 디스플레이 장치(100) SNS에 대한 사용자 명령이 수신되면, 제2 서버(20)로부터 수신한 발화 요소에 기초하여 응답 요청 메시지를 생성할 수 있다. 또다른 일 실시예에 따라, 디스플레이 장치(100)는 사용자로부터 입력된 데이터에 기초하여 응답 요청 메시지를 생성할 수 있다.
이 같은 응답 요청 메시지가 생성되면, 디스플레이 장치(100)는 생성된 응답 요청 메시지를 SNS 서버(400)로 전송한다. 이에 따라, SNS 서버(400)는 응답 요청 메시지를 전송한 사용자의 SNS 계정과 연동된 SNS 계정 또는 연동된 SNS 계정 중 사용자로부터 선택된 SNS 계정로부터 응답 요청 메시지와 관련된 응답 메시지를 수신한다. 한편, SNS 서버(400)는 응답 요청 메시지를 전송한 사용자의 SNS 계정이 없는 경우, 기설정된 공용 SNS 계정과 연동된 공용 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다. 따라서, 디스플레이 장치(100)는 SNS 서버(400)로부터 수신한 응답 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력할 수 있다(S370).
이하에서는, 사용자 음성에 적합한 응답 정보를 제공하는 디스플레이 장치(100)의 각 구성들에 대해서 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도이다.
도 4에 도시된 바와 같이, 디스플레이 장치(100)는 통신부(110), 음성 수신부(120), 제어부(130), 출력부(140) 및 저장부(150)를 포함한다.
통신부(110)는 사용자 음성에 적합한 응답 정보를 제공하는 대화형 서버(200)와 통신을 수행한다. 구체적으로, 통신부(110)는 다양한 통신 방식에 따라 대화형 서버(200)의 제1 서버(10) 및 제2 서버(20)와 통신을 수행하여, 사용자 음성에 대응하는 응답 정보를 수신할 수 있다. 이를 위해, 통신부(110)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 기기와 무선 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스, 지그비 등이 될 수 있다. 무선 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
음성 수집부(120)는 수집된 사용자 음성을 처리하여, 사용자 음성 신호를 생성한다. 즉, 음성 수집부(120)는 수집된 사용자 음성에서 노이즈(예를 들어, 에어컨 소리, 청소기 소리, 음악 소리 등)를 제거하여, 사용자 음성 신호를 생성할 수 있다. 구체적으로, 음성 수집부(120)는 아날로그 형태의 사용자 음성이 입력되면, 입력된 사용자 음성을 샘플링하여 디지털 신호로 변환한다. 이때, 음성 수집부(120)는 디지털 신호로 변환된 사용자 음성에 노이즈가 있는지를 판단하여 노이즈가 있는 경우, 변환된 디지털 신호로부터 해당 노이즈를 제거하는 것이 바람직하다. 이 같이, 음성 수집부(120)를 통해 사용자 음성이 디지털 신호로 변환되면, 통신부(110)는 디지털 신호로 변환된 사용자 음성을 제1 서버(10)로 전송한다. 여기서, 제1 서버(10)는 사용자 음성을 텍스트 정보로 생성하는 서버이다.
따라서, 통신부(110)는 음성 수집부(120)를 통해 사용자 음성이 디지털 신호로 변환되면, 변환된 디지털 신호를 제1 서버(10)로 전송하고, 제1 서버(10)는 디지털 신호로 변환된 사용자 음성을 텍스트 정보로 생성하여 디스플레이 장치(100)로 전송한다. 이후, 통신부(110)는 제1 서버(10)로부터 텍스트 정보로 변환된 사용자 음성 수신되면, 텍스트 정보로 변환된 사용자 음성을 제2 서버(20)로 전송한다.
제어부(130)는 제2 서버(20)로부터 텍스트 정보로 변환된 사용자 음성에 대응되는 응답 정보가 수신되면, 수신한 응답 정보에 기초하여 사용자 음성에 대응되는 동작을 수행하도록 제어한다. 구체적으로, 제어부(130)는 사용자 음성이 입력되면, 음성 수집부(120)를 통해 사용자 음성을 디지털 신호로 변환한다. 이후, 제어부(130)는 통신부(110)를 통해 디지털 신호로 변환된 사용자 음성을 제1 서버(10)로 전송하고, 제1 서버(10)로부터 사용자 음성에 대한 텍스트 정보를 수신한다. 제1 서버(10)로부터 사용자 음성에 대한 텍스트 정보가 수신되면, 제어부(130)는 통신부(110)를 통해 텍스트 정보로 변환된 사용자 음성을 제2 서버(20)로 전송하여 사용자 음성에 대응되는 응답 정보를 수신할 수 있다.
한편, 제어부(130)는 제2 서버(20)로부터 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지가 수신되면, 웹 서치 및 SNS 중 적어도 하나를 통해 사용자 음성과 관련된 대체 응답 정보를 수신하도록 통신부(110)를 제어할 수 있다.
출력부(140)는 음성 및 영상 중 적어도 하나를 출력한다. 구체적으로, 출력부(140)는 제2 서버(20)로부터 사용자 음성에 대응되는 응답 정보가 수신되거나 또는 웹 서버(300) 및 SNS 서버(400) 중 적어도 하나로부터 대체 응답 정보가 수신되면, 제어부(130)의 제어 명령에 따라, 수신된 응답 정보 또는 대체 응답 정보에 기초하여 사용자 음성에 대한 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다. 이를 위해, 출력부(140)는 디스플레이부(141) 및 오디오 출력부(143)를 구비할 수 있다.
구체적으로, 디스플레이부(141)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현되어, 디스플레이 장치(100)를 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있다. 특히, 디스플레이부(141) 사용자 음성에 대응되는 응답 메시지가 텍스트 또는 이미지 형태로 디스플레이할 수 있다. 여기서, 디스플레이부(141)는 터치패드와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있으며, 터치 스크린은 터치 입력 위치, 면적, 터치 입력의 압력까지도 검출하도록 구성될 수 있다.
한편, 오디오 출력부(143)는 스피커 또는 잭 등과 같은 출력 포트로 구현되어, 사용자 음성에 대한 응답 메시지를 음성 형태로 출력할 수 있다.
한편, 전술한 바와 같이, 제2 서버(20)로부터 수신되는 응답 정보는 사용자 음성으로부터 추출된 발화 요소를 기초로 분류된 기능에 따라 상이한 형태로 생성되는 것이 바람직하다. 여기서, 추출된 발화 요소를 기초로 분류되는 기능은 EPG 관련 기능 및 디스플레이 장치(100)의 동작 제어와 관련된 기능 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자 음성으로부터 추출되는 발화 요소가 방송 프로그램과 관련된 발화 요소이면, EPG 관련 기능이 될 수 있으며, 디스플레이 장치(100)의 전원 온/오프, 채널 변경, 볼륨 변경 등과 관련된 발화 요소이면, 디스플레이 장치(100)의 동작 제어와 관련된 기능이 될 수 있다. 따라서, 제어부(130)는 이 같은 응답 정보가 제2 서버(20)로부터 수신되면, 그 수신된 응답 정보에 기초하여 사용자 음성에 대응되는 동작을 수행하도록 제어할 수 있다.
예를 들어, 사용자로부터 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 사용자 음성이 입력되면, 제어부(130)는 음성 수집부(120)를 통해 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 사용자 음성을 디지털 신호로 변환하여 제1 서버(10)로 전송한다. 이후, 제1 서버(10)로부터 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 사용자 음성에 대한 텍스트 정보가 수신되면, 제어부(130)는 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 사용자 음성에 대한 텍스트 정보를 제2 서버(20)로 전송한다.
이에 따라, 제2 서버(20)는 수신한 "오늘 하는 ○○○(방송프로그램명) 녹화해줘"라는 사용자 음성에 대한 텍스트 정보로부터 "오늘", "○○○(방송프로그램명)", "녹화"라는 발화 요소를 추출하고, 추출한 발화 요소에 기초하여 EPG 관련 기능인 것으로 판단한다. 이후, 제2 서버(20)는 ○○○(방송프로그램명)에 대한 예약 녹화에 대한 제어 명령과 "○○○(방송프로그램명)에 대한 녹화가 예약되었습니다."라는 응답 메시지를 포함하는 응답 정보를 디스플레이 장치(100) 측으로 전송한다. 따라서, 제어부(130)는 제2 서버(20)로부터 수신한 응답 정보에 포함된 제어 명령에 따라, ○○○(방송프로그램명)에 대한 예약 녹화를 설정한다. 그리고, 제어부(130)는 수신한 응답 정보에 포함된 응답 메시지에 기초하여 "○○○(방송프로그램명)에 대한 녹화가 예약되었습니다."라는 응답 메시지를 영상 및 음성 중 적어도 하나를 통해 출력하도록 출력부(140)를 제어한다.
이 같은 제어 명령에 따라, 출력부(140)는 디스플레이부(141) 및 오디오 출력부(143) 중 적어도 하나를 통해 "○○○(방송프로그램명)에 대한 녹화가 예약되었습니다."라는 응답 메시지를 음성 또는 텍스트 형태의 영상으로 출력할 수 있다.
한편, 제어부(130)는 사용자로부터 EPG 관련 기능 또는 디스플레이 장치(100)의 동작을 제어하기 위한 기능과 관련되지 않은 사용자 음성을 입력받을 수 있다. 예를 들어, 사용자로부터 욕설 혹은 금지 약물과 같은 제한된 발화 요소를 포함하는 사용자 음성이 입력되면, 제어부(130)는 입력된 사용자 음성에 대한 텍스트 정보를 제1 서버(10)로부터 수신하고, 이를 제2 서버(20)로 전송한다. 이 같은 사용자 음성에 대한 텍스트 정보로부터 발화 요소가 추출되면, 제2 서버(20)는 추출된 발화 요소가 기저장된 제한된 발화 요소인지를 체크한다. 체크 결과, 추출된 발화 요소가 욕설 혹은 금지 약물과 같은 제한된 발화 요소이면, 제2 서버(20)는 사용자 음성에 대한 제공 불가 메시지를 생성하여 디스플레이 장치(100)로 전송한다. 따라서, 제어부(130)는 수신한 제공 불가 메시지에 기초하여 "동작을 수행할 수 없습니다." 혹은 "제한된 음성입니다. 재입력 해주십시요"와 같은 안내 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력하도록 출력부(140)를 제어한다.
그러나, 본 발명은 이에 한정되지 않으며, 제어부(130)는 사용자로부터 욕설 혹은 금지 약물과 관련된 사용자 음성이 입력되면, 저장부(150)에 기저장된 발화 요소 관련 테이블을 참조하여 사용자 음성에 대한 동작 수행 관련 여부를 판단할 수 있다. 여기서, 저장부(150)에 기저장된 발화 요소 관련 테이블은 사용자 음성에 대응되는 동작을 제한하기 위해 사용자로부터 기설정되어 저장된 테이블이다. 따라서, 제어부(130)는 사용자에 의해 기설정된 발화 요소 관련 테이블을 참조하여 사용자 음성에 대한 동작 수행 관련 여부를 판단할 수 있다.
한편, 또다른 예를 들어, 사용자로부터 "○○○(방송프로그램명)에 바뀐 사회자가 누구야?"라는 사용자 음성이 입력되면, 제어부(130)는 제1 서버(10)로부터 "○○○(방송프로그램명)에 바뀐 사회자가 누구야?"라는 사용자 음성에 대한 텍스트 정보를 제2 서버(20)로 전송한다. 이 같은 사용자 음성에 대한 텍스트 정보를 수신한 제2 서버(20)는 "○○○(방송프로그램명)의 사회자가 노홍철에서 누구로 교체됐어?"라는 사용자 음성에 대한 텍스트 정보로부터 "○○○(방송프로그램명)", "사회자", "노홍철", "누구", "교체"라는 발화 요소를 추출할 수 있다. 이 같은 발화 요소가 추출되면, 제2 서버(20)는 추출한 발화 요소에 기초하여 기저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 새로운 사회자 관련 정보가 있는지를 체크한다. 체크 결과, 기저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 새로운 사회자 관련 정보 획득이 불가능하면, 제2 서버(20)는 사용자 음성에 대한 제공 불가 메시지를 디스플레이 장치(100)로 전송한다.
이 같은 제공 불가 메시지가 수신되면, 제어부(130)는 수신한 제공 불가 메시지에 기초하여 "찾을 수 없는 정보입니다"와 같은 안내 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력하도록 출력부(140)를 제어한다. 이와 함께, 제어부(130)는 제2 서버(20)로부터 사용자 음성에 대한 제공 불가 메시지가 수신되면, 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 "웹 서치 또는 소셜 네트워크 서비스로 제공받으시겠습니까?"와 같은 대체 정보 제공 메시지를 생성한다. 이후, 제어부(130)는 생성된 대체 정보 제공 메시지가 음성 및 영상 중 적어도 하나를 통해 출력되도록 출력부(140)를 제어한다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 대체 정보 제공 메시지를 출력하는 예시도이다.
도 5에 도시된 바와 같이, 출력부(140)는 제어부(130)의 제어 명령에 따라, 디스플레이부(141)를 통해 대체 정보 제공 메시지를 출력할 수 있다. 즉, 디스플레이부(141)는 화면상에 "(○○○(프로그램명), 노홍철)을 웹 검색 하시겠습니까?"라는 웹 서치 관련 제1 대체 정보 제공 메시지(510) 및 "등록된 SNS 친구들에게 물어볼까요?"라는 SNS 관련 제2 대체 정보 제공 메시지(520)를 텍스트 형태로 출력할 수 있다. 그리고, 음성 출력부(143)는 스피커(미도시)를 통해 "(○○○(프로그램명), 노홍철)을 웹 검색 하시겠습니까?"라는 웹 서치 관련 제1 대체 정보 제공 메시지(510) 및 "등록된 SNS 친구들에게 물어볼까요?"라는 SNS 관련 제2 대체 정보 제공 메시지(520)를 가청음 형태의 음성으로 출력할 수 있다.
구체적으로, 제2 서버(20)는 사용자 음성에 대한 제공 불가 메시지와 함께, 사용자 음성으로부터 추출된 발화 요소 중 주요 명사 또는 객체 관련 발화 요소만을 디스플레이 장치(100)로 전송한다. 따라서, 제어부(130)는 제2 서버(20)로부터 수신한 주요 명사 또는 객체에 기초하여 대체 제1 및 제2 정보 제공 메시지(510,520)를 생성하고, 그 생성된 제1 및 제2 대체 정보 제공 메시지(510,520)가 음성 또는 영상으로 출력되도록 출력부(140)를 제어한다. 따라서, 출력부(140)는 디스플레이부(141) 및 음성 출력부(143) 중 적어도 하나를 통해 제1 및 제2 대체 정보 제공 메시지(510,520)를 영상 또는 음성으로 출력할 수 있다.
이 같은 대체 정보 제공 메시지가 출력된 상태에서, 대체 정보 제공과 관련된 사용자 명령이 수신되면, 제어부(130)는 웹 서버(300) 및 SNS 서버(400) 중 적어도 하나를 통해 사용자 음성과 관련된 대체 응답 정보를 수신하여 출력하도록 출력부(140)를 제어할 수 있다.
구체적으로, 사용자로부터 웹 서치를 수행하기 위한 사용자 명령이 수신되면, 제어부(130)는 제2 서버(20)로부터 수신한 주요 명사 또는 객체 관련 발화 요소에 기초하여 웹 서버(300)로부터 웹 서치 결과 정보를 수신한다. 이 같은 웹 서치 결과 정보가 수신되면, 출력부(140)는 제어부(130)의 제어 명령에 따라, 디스플레이부(141) 및 음성 출력부(143) 중 적어도 하나를 통해 웹 서치 결과 정보를 영상 또는 음성으로 출력한다.
한편, 사용자로부터 SNS에 대한 사용자 명령이 수신되면, 제어부(130)는 제2 서버(20)로부터 수신한 주요 명사 또는 객체 관련 발화 요소에 기초하여 응답 요청 메시지를 생성한다. 이후, 제어부(130)는 통신부(110)를 통해 SNS를 제공하는 SNS 서버(400)로 응답 요청 메시지를 전송하고, SNS 서버(400)로부터 응답 요청 메시지와 관련된 응답 메시지를 수신한다. 일 실시예에 따라, 제어부(130)는 사용자의 SNS 계정으로 응답 요청 메시지를 SNS 서버(400)로 전송하고, SNS 서버(400)로부터 사용자의 SNS 계정과 연동된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다.
또다른 실시예에 따라, 제어부(130)는 사용자의 SNS 계정과 연동된 SNS 계정 중 사용자로부터 선택된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다. 구체적으로, 제어부(130)는 사용자의 SNS 계정과 연동된 SNS 계정 중 사용자로부터 선택된 SNS 계정이 있을 경우, SNS 서버(400)에 사용자로부터 선택된 SNS 계정으로 응답 요청 메시지를 전송하도록 요청할 수 있다. 이에 따라, SNS 서버(400)는 사용자로부터 선택된 SNS 계정으로 응답 요청 메시지를 전송하고, 해당 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지가 수신되면, 이를 디스플레이 장치(100)로 전송한다. 따라서, 제어부(130)는 사용자로부터 선택된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 SNS를 통해 사용자 음성과 관련된 응답 메시지를 제공하는 예시도이다.
도 6에 도시된 바와 같이, 출력부(140)는 제어부(130)의 제어 명령에 따라, 디스플레이부(141)를 통해 SNS 서버(400)로부터 수신한 응답 메시지를 텍스트 형태의 영상으로 출력할 수 있다. 구체적으로, 제어부(130)는 SNS 서버(400)를 통해 사용자의 SNS 계정과 연동된 복수의 SNS 계정 중 제1 유저 및 제2 유저의 SNS 계정으로부터 응답 메시지를 수신할 수 있다. 제1 유저 및 제2 유저의 SNS 계정으로부터 응답 메시지가 수신되면, 출력부(140)는 제어부(130)의 제어 명령에 따라, 디스플레이부(141) 및 음성 출력부(143) 중 적어도 하나를 통해 제1 유저 및 제2 유저의 SNS 계정으로부터 수신한 응답 메시지를 출력한다.
도시된 바와 같이, 제1 유저의 SNS 계정으로부터 "노홍철이 나갔단 말이야?"라는 응답 메시지가 SNS 서버(400)를 통해 수신되면, 디스플레이부(143)는 화면상에 "보낸이:제1 유저"와 "노홍철이 나갔단 말이야?"라는 제1 응답 메시지(620)를 출력한다. 그리고, 제2 유저의 SNS 계정으로부터 "난 모르겠는데..."라는 응답 메시지가 SNS 서버(400)를 통해 수신되면, 디스플레이부(143)는 화면상에 "보낸이:제2 유저"와 "난 모르겠는데..."라는 제2 응답 메시지(630)를 출력한다.
한편, 제어부(130)는 사용자가 SNS 계정이 없을 경우, 기설정된 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다. 구체적으로, SNS 서버(400)로 전송되는 응답 요청 메시지는 사용자의 SNS 계정 등록을 식별하기 위한 사용자 정보가 포함될 수 있다. 따라서, 이 같은 응답 요청 메시지가 수신되면, SNS 서버(400)는 수신한 응답 요청 메시지에 포함된 사용자 정보를 참조하여 해당 사용자의 SNS 계정이 등록되어 있는지를 체크한다. 체크 결과, 사용자의 SNS 계정이 등록되지 않은 것으로 체크되면, SNS 서버(400)는 기설정된 공용 SNS 계정으로 공용 SNS 계정과 연동된 SNS 계정에 응답 요청 메시지를 전송하고, 연동된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지가 수신되면, 이를 디스플레이 장치(100)로 전송한다.
이에 따라, 출력부(140)는 제어부(130)의 제어 명령에 따라, 디스플레이부(141)를 통해 SNS 서버(400)로부터 수신한 응답 메시지를 텍스트 형태의 영상으로 출력할 수 있다. 즉, 디스플레이부(141)는 도 6에 도시된 바와 같이, 화면상에 "보낸이:삼성"과 "길과 박은영이에요"라는 제3 응답 메시지(630)를 출력한다.
한편, 제어부(130)는 SNS 서버(400)를 통해 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 메시지가 수신되면, 응답 메시지 수신을 알리는 알림 정보가 출력되도록 출력부(140)를 제어할 수 있다. 따라서, 출력부(140)는 제어부(130)의 제어 명령에 따라, 음성 출력부(143)를 통해 응답 메시지 수신을 알리는 알림 정보를 음성으로 출력할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 제어부(130)는 SNS 서버(400)를 통해 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 메시지가 수신되면, 수신한 응답 메시지를 하이라이트 처리하여 출력되도록 출력부(140)를 제어할 수 있다. 따라서, 출력부(140)는 제어부(130)의 제어 명령에 따라, 디스플레이부(141)를 통해 화면상에 영상으로 출력되는 응답 메시지 중 현재 수신된 응답 메시지에 하이라이트 처리하여 출력할 수 있다.
한편, 도 6에서, 디스플레이부(141)는 SNS 서버(400)를 통해 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 메시지를 수신하는 동안 화면 상단에 "응답대기"라는 표시창(610)을 디스플레이한다. 이 같은 표시창(610)이 디스플레이되는 동안, 디스플레이부(141)는 SNS 서버(400)를 통해 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 메시지를 수신할 수 있다.
한편, 화면에 출력된 응답 메시지 중 사용자가 원하는 응답 메시지가 출력되면, 사용자는 응답 메시지 수신을 중단할 수 있다. 이 같은 사용자 명령이 수신되면, 제어부(130)는 SNS에 대한 수신 중단 요청 메시지를 생성하고, 그 생성된 수신 중단 요청 메시지를 SNS 서버(400)로 전송한다. 따라서, SNS 서버(400)는 수신 중단 요청 메시지를 수신한 시점부터 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 수신한 응답 메시지에 대한 전송을 종료한다.
이하에서는, 전술한 디스플레이 장치(100)의 세부 구성에 대해서 보다 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도이다.
도 7에 도시된 바와 같이, 디스플레이 장치(100)는 도 4에 도시된 구성요소 외에 촬영부(160), 입력부(170), 수신부(180) 및, 신호 처리부(190)를 더 포함할 수 있다. 도 6에 도시된 구성요소들 중 도 5에 도시된 구성요소와 중복되는 구성요소들은 그 기능이 동일하므로 자세한 설명은 생략하도록 한다.
촬영부(160)는 사용자 얼굴을 촬영하여 얼굴 이미지를 생성한다. 또한, 전술한 저장부(150)는 사용자의 얼굴 이미지 및 사용자 정보를 매칭시켜 저장할 수 있다. 따라서, 촬영부(160)를 통해 촬영된 사용자의 얼굴 이미지가 생성되면, 제어부(130)는 생성된 얼굴 이미지에 매칭되는 사용자 정보를 저장부(150)로부터 획득하고, 그 획득한 사용자 정보 및 사용자 음성에 대한 텍스트 정보를 제2 서버(20)로 전송할 수 있다.
따라서, 제2 서버(20)는 수신한 사용자 음성에 대한 텍스트 정보로부터 추출한 발화 요소가 제한된 발화 요소인 경우, 수신한 사용자 정보에 기초하여 사용자 음성에 대응되는 응답 정보의 생성 여부를 판단한다. 이후, 제2 서버(20)는 판단 결과에 따라, 사용자 음성에 대응되는 응답 정보를 생성하거나 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지를 생성하여 디스플레이 장치(100)로 전송한다. 따라서, 제어부(130)는 전술한 바와 같이, 제2 서버(20)로부터 수신한 사용자 음성에 대응되는 응답 정보에 기초하여 동작을 수행하거나 또는 응답 정보에 대한 제공 불가 메시지에 기초하여 "제한된 음성입니다. 재입력 해주십시요"와 같은 안내 메시지를 음성 및 영상 중 적어도 하나를 통해 출력하도록 출력부(140)를 제어할 수 있다.
입력부(170)는 다양한 사용자 조작을 입력받아 제어부(130)로 전달하기 위한 입력 수단으로써, 입력 패널로 구현될 수 있다. 여기서, 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. 뿐만 아니라, 입력부(170)는 디스플레이 장치(100)를 제어하기 위한 리모컨에서 전송되는 리모컨 신호를 수신하기 위한 IR 수신부(미도시)로 구현될 수도 있다.
이 같은 입력부(170)는 디스플레이 장치(100)의 제품 종류에 따라, 디스플레이 장치(100)의 기능을 제어하기 위한 각종 사용자 조작을 입력받을 수 있다. 예를 들어, 디스플레이 장치(100)가 스마트 TV로 구현되는 경우, 입력부(170)는 전원 온/오프, 채널 변경, 볼륨 변경 등 스마트 TV의 기능을 제어하기 위한 사용자 조작을 입력받을 수 있다. 이 같은 사용자 조작이 입력부(170)를 통해 입력되면, 제어부(130)는 입력부(170)를 통해 입력된 사용자 조작에 대응되는 각종 기능을 실행하도록 다른 구성요소를 제어할 수 있다. 예를 들어, 제어부(130)는 전원 오프 명령이 입력되면, 디스플레이 장치(100)의 각 구성요소에 공급되는 전원을 차단할 수 있으며, 채널 변경이 입력되면 사용자 조작에 따라 선택된 채널을 선국하도록 수신부(180)를 제어할 수 있다.
뿐만 아니라, 입력부(170)는 사용자의 음성을 수집하기 위한 음성 인식 모드를 개시하기 위한 사용자 명령을 입력받는다. 이 같은 음성 인식 모드를 개시하기 위한 사용자 명령이 입력부(150)를 통해 입력되면, 제어부(130)는 음성 수집부(120)를 활성화하여 기설정된 거리 내에서 발화되는 사용자 음성을 수집할 수 있다.
전술한 저장부(150)는 디스플레이 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어, 저장부(150)는 제어부(130)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(130)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한, 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.
특히, 저장부(150)는 사용자 음성에 적합한 다양한 응답 메시지를 음성 또는 텍스트 정보로 저장하고 있을 수 있다. 이에 따라, 제어부(130)는 사용자 음성에 적합한 응답 메시지에 대한 음성 정보 또는 텍스트 정보를 저장부(150)로부터 독출하여 디스플레이부(141) 및 오디오 출력부(143) 중 적어도 하나를 통해 출력할 수 있다. 구체적으로, 사용자 음성에 적합한 응답 메시지를 음성 형태로 출력할 경우, 제어부(130)는 저장부(150)로부터 독출된 음성 정보를 디코딩 등의 신호 처리를 수행하고, 디코딩된 음성 데이터를 증폭하여 오디오 출력부(143)를 통해 출력할 수 있다. 또한, 사용자 음성에 적합한 응답 메시지를 텍스트 형태로 출력할 경우, 제어부(130)는 저장부(150)로부터 독출된 텍스트 정보를 디코딩 등의 신호 처리를 수행하고, 텍스트 정보를 구성하는 텍스트가 포함되도록 UI 화면을 구성하여 디스플레이부(141)를 통해 출력할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 제어부(130)는 제2 서버(20)로부터 수신한 응답 정보에 포함된 응답 메시지를 전술한 처리 동작을 수행하여 디스플레이부(141) 및 오디오 출력부(143) 중 적어도 하나를 통해 텍스트 관련 영상 또는 음성으로 출력할 수 있다.
수신부(180)는 방송 네트워크를 통해 방송 프로그램 관련 컨텐츠를 수신한다. 구체적으로, 수신부(180)는 방송 네트워크를 통해 방송 프로그램 관련 컨텐츠를 전송하는 방송국 또는 인터넷을 통해 컨텐츠 파일을 전송하는 웹 서버로부터 컨텐츠를 수신할 수 있다. 또한, 디스플레이 장치(100) 내에 마련되거나 디스플레이 장치(100)에 연결된 각종 기록 매체 재생 장치로부터 컨텐츠를 수신할 수도 있다. 여기서, 기록 매체 재생 장치란 CD, DVD, 하드디스크, 블루레이 디스크, 메모리 카드, USB 메모리 등과 같은 다양한 유형의 기록 매체에 저장된 컨텐츠를 재생하는 장치를 의미한다.
방송국으로부터 컨텐츠를 수신하는 경우, 수신부(180)는 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다. 한편, 웹 서버와 같은 소스 기기로부터 컨텐츠를 수신하는 경우, 수신부(180)는 네트워크 인터페이스 카드(미도시)로 구현될 수 있다. 또는, 상술한 각종 기록 매체 재생 장치로부터 컨텐츠를 수신하는 실시 예의 경우, 수신부(180)는 기록 매체 재생 장치와 연결된 인터페이스부(미도시)로 구현될 수 있다. 이와 같이, 수신부(180)는 실시 예에 따라 다양한 형태로 구현될 수 있다.
신호 처리부(190)는 수신부(180)를 통해 수신된 컨텐츠가 출력부(140)를 통해 출력될 수 있도록 컨텐츠에 대한 신호처리를 수행한다. 구체적으로, 신호 처리부(190)는 컨텐츠에 포함된 비디오 신호가 디스플레이부(141)에서 출력 가능한 형태로 출력되도록 해당 비디오 신호에 대해서 디코딩, 스케일링 및 프레임 레이트 변환 등의 신호 처리를 수행한다. 또한, 신호 처리부(180)는 컨텐츠에 포함된 오디오 신호가 오디오 출력부(143)를 통해 출력 가능한 형태로 출력되도록 해당 오디오 신호에 대해서 디코딩 등의 신호 처리를 수행한다. 이에 따라, 디스플레이부(141) 및 오디오 출력부(143)는 신호 처리부(190)에 의해 신호처리된 컨텐츠에 포함된 비디오 및 오디오 신호를 출력할 수 있다.
지금까지, 본 발명에 따른 디스플레이 장치(100)에서 제1 및 제2 서버(10,20)를 포함하는 대화형 서버(200)를 통해 사용자 음성에 적합한 응답 정보를 수신하여 그에 따른 동작을 수행하는 동작에 대해서 상세히 설명하였다. 이하에서는 본 발명에 따른 대화형 서버(200)의 제2 서버(10)에서 디스플레이 장치(100)를 통해 수신한 사용자 음성에 적합한 응답 정보를 생성하여 디스플레이 장치(100)로 전송하는 동작에 대해서 상세히 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 대화형 서버의 블록도이다.
도 8에서 설명하는 대화형 서버는 전술한 제2 서버(20)로써, 제1 서버(10)를 통해 텍스트 정보로 변환된 사용자 음성을 디스플레이 장치(100)로부터 수신하고, 그 수신된 사용자 음성에 대한 텍스트 정보로부터 발화 요소를 추출하여 사용자 음성에 적합한 응답 정보를 디스플레이 장치(100)로 전송하는 서버이다. 이 같은 대화형 서버는 통신부(810), 추출부(820), 저장부(830) 및 제어부(840)를 포함한다.
통신부(810)는 디스플레이 장치(100)와 통신을 수행하며, 추출부(820)는 통신부(810)를 통해 디스플레이 장치(100)로부터 수신한 사용자 음성으로부터 발화 요소를 추출한다. 전술한 바와 같이, 추출부(720)는 사용자 음성에 대한 텍스트 정보가 수신되면, 수신한 텍스트 정보로부터 화행, 주행 및 핵심 요소를 포함하는 발화 요소를 추출할 수 있다. 발화 요소에 대한 구체적인 설명은 상기에서 상세히 설명하였기에 이하에서는 상세한 설명을 생략하도록 한다.
저장부(830)는 사용자 음성별 담화 이력 정보를 기록 및 EPG 정보를 저장하고 있다. 제어부(840)는 추출부(820)를 통해 추출된 사용자 음성에 대한 발화 요소에 따라 분류된 기능에 기초하여 사용자 음성에 대응되는 응답 정보를 상이한 형태로 생성하여 디스플레이 장치(100)로 전송한다. 여기서, 발화 요소에 따라 분류되는 기능은 EPG 관련 기능 및 디스플레이 장치(100)의 동작 제어 기능 중 적어도 하나를 포함할 수 있다. 따라서, 제어부(840)는 사용자 음성으로부터 추출된 발화 요소에 따라, 사용자 음성이 EPG와 관련된 것인지 아니면 디스플레이 장치(100)의 동작을 제어하기 위한 것인지를 판단하고, 그 판단 결과에 따라 사용자 음성에 대응되는 응답 정보를 생성할 수 있다.
실시예에 따라, 사용자 음성으로부터 추출된 발화 요소가 EPG 관련 발화 요소인 경우, 제어부(840)는 저장부(830)에 기저장된 EPG 정보에 기초하여 사용자 음성에 대응되는 EPG 정보 제공이 가능한지 여부를 판단한다. 판단 결과, EPG 정보 제공이 가능하면, 제어부(840)는 EPG 정보에 기초하여 사용자 음성에 대응되는 응답 정보를 생성한다.
예를 들어, "이번 주에 하는 ○○○(방송프로그램명)을 녹화해줘!"라는 사용자 음성의 경우, 추출부(820)는 "이번 주", "○○○(방송프로그램명)", "녹화", "해줘"라는 발화 요소를 추출할 수 있다. 이 같은 발화 요소가 추출되면, 제어부(840)는 저장부(830)에 저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 프로그램 정보 및 시작 시간 정보를 획득할 수 있다. 따라서, 제어부(840)는 기획득한 프로그램 정보 및 시작 시간 정보에 기초하여 ○○○(방송프로그램명)에 대한 예약 녹화 관련 제어 명령 및 저장부(830)에 기저장된 담화 이력 정보에 기초하여 생성된 응답 메시지를 포함하는 응답 정보를 생성할 수 있다. 이 같은 사용자 음성에 대응되는 응답 정보가 생성되면, 제어부(840)는 통신부(810)를 통해 디스플레이 장치(100)로 전송한다. 따라서, 디스플레이 장치(100)는 수신한 응답 정보에 기초하여 사용자 음성에 대응되는 응답 메시지 출력 및 기능 실행 중 적어도 하나의 동작을 수행할 수 있다.
한편, 판단 결과, EPG 정보 제공이 불가능하면, 제어부(840)는 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지를 생성한다.
예를 들어, "○○○(방송프로그램명)에 나오는 주인공이 누구야?"라는 사용자 음성의 경우, 추출부(820)는 "○○○(방송프로그램명)", "주인공", "누구야"라는 발화 요소를 추출할 수 있다. 이 같은 발화 요소가 추출되면, 제어부(840)는 저장부(830)에 저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 주인공 정보가 있는지를 체크한다. 체크 결과, 기저장된 EPG 정보로부터 ○○○(방송프로그램명)에 대한 주인공 정보의 획득이 불가능하면, 제어부(840)는 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지를 생성할 수 있다.
응답 정보에 대한 제공 불가 메시지 생성과 관련된 또다른 예를 들면, 제어부(740)는 사용자 음성으로부터 추출된 발화 요소가 욕설, 금지 약물 등과 같은 제한된 금지 단어인 경우, 제어부(840)는 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지를 생성할 수 있다.
이와 같이, 사용자 음성에 대응되는 응답 정보 또는 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지가 생성되면, 제어부(840)는 통신부(810)를 통해 디스플레이 장치(100)로 전송한다. 이와 함께, 제어부(840)는 사용자 음성으로부터 추출된 발화 요소 중 주요 명사 또는 객체 관련 발화 요소를 디스플레이 장치(100)로 전송할 수 있다. 이에 따라, 디스플레이 장치(100)는 수신한 발화 요소에 기초한 웹 서치 결과 정보 및 응답 메시지 중 적어도 하나를 웹 서버 및 SNS 서버(400)를 통해 수신하여 음성 및 영상 중 적어도 하나로 출력할 수 있다.
지금까지, 본 발명에 따른 사용자 음성에 적합한 응답 정보를 제공하는 대화형 서버의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 전술한 디스플레이 장치에서 사용자 음성에 적합한 응답 정보에 기초하여 동작을 수행하는 방법에 대해서 상세히 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 음성에 적합한 응답 정보를 제공받기 위한 방법의 흐름도이다.
디스플레이 장치는 사용자로부터 음성 인식 모드를 개시하기 위한 사용자 명령이 입력되면, 입력된 사용자 명령에 따라 사용자의 음성을 인식할 수 있는 음성 인식 모드로 진입한다(S910). 이 같은 음성 인식 모드로 진입한 상태에서, 디스플레이 장치는 사용자로부터 사용자 음성을 입력받는다. 사용자 음성이 입력되면, 디스플레이 장치는 입력된 사용자 음성을 수집하고, 그 수집된 사용자 음성을 디지털 신호로 변환한다(S920,S930). 이후, 디스플레이 장치는 디지털 신호로 변환된 사용자 음성을 제1 서버로 전송한다(S940). 여기서, 제1 서버는 디지털 신호로 변환된 사용자 음성을 텍스트 정보로 변환하는 서버가 될 수 있다. 이 같은 제1 서버로부터 사용자 음성에 대한 텍스트 정보가 수신되면, 디스플레이 장치는 수신한 사용자 음성에 대한 텍스트 정보를 제2 서버로 전송한다(S950). 여기서, 제2 서버는 사용자 음성으로부터 추출된 발화 요소에 따라 사용자 음성에 적합한 응답 정보를 생성하는 서버가 될 수 있다.
이 같은 대화형 서버로부터 사용자 음성에 대응되는 응답 정보가 수신되면, 디스플레이 장치는 수신한 응답 정보에 기초하여 사용자 음성에 대응되는 동작을 수행한다(S960). 여기서, 응답 정보는 사용자 음성으로부터 추출된 발화 요소를 기초로 분류된 기능에 따라 상이한 형태로 생성되는 것이 바람직하다. 또한, 추출된 발화 요소를 기초로 분류되는 기능은 EPG 관련 기능 및 디스플레이 장치의 동작 제어와 관련된 기능 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자 음성으로부터 추출된 발화 요소가 방송 프로그램과 관련된 발화 요소이면, EPG 관련 기능이 될 수 있으며, 디스플레이 장치의 전원 온/오프, 채널 변경, 볼륨 변경 등과 관련된 발화 요소이면, 디스플레이 장치의 동작 제어와 관련된 기능이 될 수 있다. 따라서, 디스플레이 장치는 이 같은 응답 정보가 제2 서버로부터 수신되면, 그 수신된 응답 정보에 포함된 응답 메시지를 음성 또는 영상으로 출력할 수 있다. 뿐만 아니라, 디스플레이 장치는 제2 서버로부터 수신한 응답 정보에 포함된 제어 명령에 따라 디스플레이 장치의 기능 실행에 대한 동작을 수행할 수 있다.
한편, 디스플레이 장치는 사용자 음성으로부터 추출된 발화 요소를 기초로 사용자 음성에 대응되는 응답 정보에 대한 수행 불가 메시지가 수신되면, 웹 서치 및 SNS 중 적어도 하나를 통해 대체 응답 정보를 수신하여 영상 및 음성으로 출력한다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자 음성과 관련된 대체 응답 정보를 제공하는 방법에 대한 흐름도이다.
도 10에 도시된 바와 같이, 디스플레이 장치는 제2 서버(20)로부터 사용자 음성에 대응되는 응답 정보가 수신되는지를 체크한다(S1010). 체크 결과, 제2 서버(20)로부터 사용자 음성에 대응되는 응답 정보가 수신되면, 디스플레이 장치는 전술한 바와 같이, 수신한 응답 정보에 기초하여 응답 메시지를 음성 및 영상 중 적어도 하나를 통해 출력하거나 디스플레이 장치의 기능 실행에 대한 동작을 수행한다(S1020).
한편, 체크 결과, 제2 서버(20)로부터 사용자 음성에 대응되는 응답 정보에 대한 제공 불가 메시지가 수신되면, 디스플레이 장치는 수신된 제공 불가 메시지에 기초하여 "동작을 수행할 수 없습니다." 혹은 "제한된 음성입니다. 재입력 해주십시요"와 같은 안내 메시지를 음성 및 텍스트 형태의 영상 중 적어도 하나를 통해 출력한다(S1030). 이 같은 메시지를 출력한 후, 디스플레이 장치는 웹 서치 및 SNS 중 적어도 하나를 통해 대체 정보를 제공하기 위해서 대체 정보 제공 메시지를 음성 및 영상 중 적어도 하나를 통해 출력한다.
구체적으로, 도 5에서 설명한 바와 같이, 제2 서버(20)로부터 수신된 제공 불가 메시지에 기초하여 안내 메시지를 출력한 디스플레이 장치는 화면상에 "(○○○(프로그램명), 노홍철)을 웹 검색 하시겠습니까?"라는 웹 서치 관련 제1 대체 정보 제공 메시지(510) 및 "등록된 SNS 친구들에게 물어볼까요?"라는 SNS 관련 제2 대체 정보 제공 메시지(520)를 텍스트 형태로 출력할 수 있다. 그리고, 음성 출력부(143)는 스피커(미도시)를 통해 "(○○○(프로그램명), 노홍철)을 웹 검색 하시겠습니까?"라는 웹 서치 관련 제1 대체 정보 제공 메시지(510) 및 "등록된 SNS 친구들에게 물어볼까요?"라는 SNS 관련 제2 대체 정보 제공 메시지(520)를 가청음 형태의 음성으로 출력할 수 있다.
이 같은 대체 정보 제공 메시지가 출력된 상태에서, 디스플레이 장치는 사용자로부터 대체 정보 제공과 관련된 사용자 명령이 수신되는지를 체크한다(S1040). 체크 결과, 사용자로부터 웹 서치를 수행하기 위한 사용자 명령이 수신되면, 디스플레이 장치는 제2 서버(20)로부터 수신한 주요 명사 도는 객체 관련 발화 요소에 기초하여 웹 서버(300)로부터 웹 서치 결과 정보를 수신하여 영상 및 음성 중 적어도 하나를 통해 출력한다(S1050).
한편, 단계 S1040에서 사용자로부터 SNS에 대한 사용자 명령이 수신된 것으로 체크되면, 디스플레이 장치는 제2 서버(20)로부터 수신한 주요 명사 또는 객체 관련 발화 요소에 기초하여 응답 요청 메시지를 생성한다. 이후, 디스플레이 장치는 SNS를 제공하는 SNS 서버(400)로 응답 요청 메시지를 전송한다. 이에 따라, 디스플레이 장치는 SNS 서버(400)로부터 응답 요청 메시지와 관련된 응답 메시지를 수신하고, 수신한 응답 메시지를 영상 및 음성 중 적어도 하나를 통해 출력한다(S1060).
일 실시예에 따라, 디스플레이 장치는 사용자의 SNS 계정으로 응답 요청 메시지를 SNS 서버(400)로 전송하고, SNS 서버(400)로부터 사용자의 SNS 계정과 연동된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다.
또다른 실시예에 따라, 디스플레이 장치는 사용자의 SNS 계정과 연동된 SNS 계정 중 사용자로부터 선택된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다. 구체적으로, 디스플레이 장치는 사용자의 SNS 계정과 연동된 SNS 계정 중 사용자로부터 선택된 SNS 계정이 있을 경우, SNS 서버(400)에 사용자로부터 선택된 SNS 계정으로 응답 요청 메시지를 전송하도록 요청할 수 있다. 이에 따라, SNS 서버(400)는 사용자로부터 선택된 SNS 계정으로 응답 요청 메시지를 전송하고, 해당 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지가 수신되면, 이를 디스플레이 장치(100)로 전송한다. 따라서, 디스플레이 장치는 사용자로부터 선택된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다.
이와 같이, 디스플레이 장치는 사용자의 SNS 계정과 연동된 SNS 계정들 중 적어도 하나의 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지가 수신되면, 도 6과 같이 화면상에 수신한 응답 메시지를 출력할 수 있다. 구체적으로, 도 6에서 설명한 바와 같이, 디스플레이 장치는 SNS 서버(400)를 통해 사용자의 SNS 계정과 연동된 복수의 SNS 계정 중 제1 유저 및 제2 유저의 SNS 계정으로부터 응답 메시지를 수신할 수 있다. 즉, 제1 유저의 SNS 계정으로부터 "노홍철이 나갔단 말이야?"라는 응답 메시지가 수신될 수 있으며, 제2 유저의 SNS 계정으로부터 "난 모르겠는데..."라는 응답 메시지가 수신될 수 있다.
따라서, 디스플레이 장치는 화면상에 "보낸이:제1 유저"와 "노홍철이 나갔단 말이야?"라는 제1 응답 메시지(620)를 출력하고, "보낸이:제2 유저"와 "난 모르겠는데..."라는 제2 응답 메시지(630)를 출력할 수 있다.
한편, 디스플레이 장치는 사용자가 SNS 계정이 없는 경우, 기설정된 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 요청 메시지와 관련된 응답 메시지를 수신할 수 있다. 구체적으로, SNS 서버(400)로 전송되는 응답 요청 메시지는 SNS 계정 등록을 식별하기 위한 사용자 정보가 포함될 수 있다. 따라서, SNS 서버(400)는 디스플레이 장치로부터 응답 요청 메시지가 수신되면, 수신한 응답 요청 메시지에 포함된 사용자 정보를 참조하여 해당 사용자의 SNS 계정이 등록되어 있는지를 체크한다. 체크 결과, 사용자의 SNS 계정이 등록되지 않은 것으로 체크되면, SNS 서버(400)는 기설정된 공용 SNS 계정으로 공용 SNS 계정과 연동된 SNS 계정에 응답 요청 메시지를 전송한다. 이후, 응답 요청 메시지를 전송한 SNS 계정으로부터 응답 메시지가 수신되면, SNS 서버(400)는 수신한 응답 메시지를 디스플레이 장치로 전송한다.
이 같이 공용 SNS 계정을 통해 응답 요청 메시지를 전송하고, 그에 따른 응답 메시지를 수신할 경우, 디스플레이 장치는 도 6에서 설명한 바와 같이, 화면상에 "보낸이:삼성"과 "길과 박은영이에요"라는 제3 응답 메시지(630)를 출력한다.
이와 같이, SNS 서버(400)를 통해 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 메시지가 수신되면, 디스플레이 장치는 수신된 응답 메시지를 화면상에 출력할 뿐만 아니라, 응답 메시지가 수신되었음을 알래는 알림 정보를 음성으로 출력할 수 있다. 뿐만 아니라, 디스플레이 장치는 SNS 서버(400)를 통해 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 응답 메시지가 수신되면, 수신한 응답 메시지를 하이라이트 처리하여 출력할 수 있다.
이와 같이, 사용자 명령에 따라, SNS을 통해 사용자 음성과 관련된 응답 메시지를 수신하는 디스플레이 장치는 응답 메시지 수신 중단과 관련된 사용자 명령이 수신되면, SNS에 대한 수신 중단 요청 메시지를 생성하여 SNS 서버(400)로 전송한다. 따라서, SNS 서버(400)는 수신 중단 요청 메시지를 수신한 시점부터 사용자의 SNS 계정과 연동되거나 공용 SNS 계정과 연동된 SNS 계정으로부터 수신한 응답 메시지에 대한 전송을 종료한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 제1 서버 20 : 제2 서버
100 : 디스플레이 장치 110,810 : 통신부
120 : 음성 수집부 130,840 : 제어부
140 : 출력부 141 : 디스플레이부
143 : 오디오 출력부 150,830 : 저장부
160 : 촬영부 170 : 입력부
180 : 수신부 190 : 신호 처리부
200 : 대화형 서버 300 : 웹 서버
400 : SNS 서버 820 : 추출부

Claims (20)

  1. 사용자 음성을 수집하기 위한 음성 수집부;
    대화형 서버와 통신을 수행하는 통신부; 및
    상기 대화형 서버로 전송된 상기 사용자 음성에 대응되는 응답 정보가 상기 대화형 서버로부터 수신되면, 상기 응답 정보에 기초하여 상기 사용자 음성에 대응되는 동작을 수행하도록 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 사용자 음성에 대응되는 상기 응답 정보에 대한 제공 불가 메시지가 상기 대화형 서버로부터 수신되면, 웹 서치 및 소셜 네트워크 서비스 중 적어도 하나를 통해 상기 사용자 음성과 관련된 대체 응답 정보를 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    출력부;를 더 포함하며,
    상기 제어부는,
    상기 대화형 서버로부터 상기 응답 정보에 대한 제공 불가 메시지와 함께 상기 사용자 음성 내에 포함된 발화 요소가 수신되면, 상기 웹 서치 및 소셜 네트워크 서비스 중 하나를 통해 상기 발화 요소와 관련된 대체 응답 정보를 수신하여 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 웹 서치를 수행하기 위한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 웹 서치에 대한 결과를 수신하여 출력하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  4. 제 2 항에 있어서,
    상기 제어부는,
    상기 소셜 네트워크 서비스에 대한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 응답 요청 메시지를 생성하여 상기 소셜 네트워크 서비스를 제공하는 SNS 서버로 전송하고, 상기 SNS(Social Network Service) 서버로부터 상기 응답 요청 메시지에 대응되는 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 디스플레이 장치.
  5. 제 4 항에 있어서,
    상기 제어부는,
    사용자 명령에 따라 상기 사용자의 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 사용자의 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 디스플레이 장치.
  6. 제 4 항에 있어서,
    상기 제어부는,
    사용자 명령에 따라 상기 사용자의 SNS 계정과 연동된 SNS 계정 중 선택된 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 선택된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 디스플레이 장치.
  7. 제 4 항에 있어서,
    상기 제어부는,
    사용자 명령에 따라 기설정된 공용 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 공용 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 디스플레이 장치.
  8. 제 4 항에 있어서,
    상기 제어부는,
    상기 응답 메시지가 수신되면, 상기 응답 메시지 수신을 알리는 알림 정보를 출력하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  9. 제 1 항에 있어서,
    상기 대화형 서버는,
    상기 수집된 음성을 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 음성에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며,
    상기 제어부는,
    상기 수집된 음성을 디지털 신호로 변환하여 상기 제1 서버로 전송하고, 상기 제1 서버로부터 상기 사용자 음성에 대한 텍스트 정보가 수신되면, 상기 텍스트 정보를 상기 제2 서버로 전송하여 상기 사용자 음성에 대응되는 응답 정보를 수신하는 것을 특징으로 하는 디스플레이 장치.
  10. 제 9 항에 있어서,
    상기 제2 서버는,
    상기 사용자 음성 내에 EPG 관련 발화 요소 또는 상기 디스플레이 장치의 동작 제어 관련 발화 요소가 포함된 경우, 상기 제2 서버로부터 수신한 응답 정보에 기초하여 상기 사용자 음성에 대응되는 응답 메시지 출력 및 기능 실행 중 적어도 하나의 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
  11. 디스플레이 장치에서 사용자 음성에 적합한 응답 정보를 제공하는 방법에 있어서,
    사용자 음성을 수집하는 단계;
    상기 수집된 사용자 음성을 대화형 서버로 전송하는 단계;
    상기 대화형 서버로부터 상기 사용자 음성에 대응되는 응답 정보가 수신되는지를 체크하는 단계; 및
    상기 체크 결과, 상기 사용자 음성에 대응되는 응답 정보가 수신되면, 상기 응답 정보에 기초하여 상기 사용자 음성에 대응되는 동작을 수행하는 단계;를 포함하며,
    상기 동작을 수행하는 단계는,
    상기 체크 결과, 상기 사용자 음성에 대응되는 상기 응답 정보에 대한 제공 불가 메시지가 수신되면, 웹 서치 및 소셜 네트워크 서비스 중 적어도 하나를 통해 상기 사용자 음성과 관련된 대체 응답 정보를 수신하여 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  12. 제 11 항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 대화형 서버로부터 상기 응답 정보에 대한 제공 불가 메시지와 함께 상기 사용자 음성 내에 포함된 발화 요소가 수신되면, 상기 웹 서치 및 소셜 네트워크 서비스 중 하나를 통해 상기 발화 요소와 관련된 대체 응답 정보를 수신하여 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  13. 제 12 항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 웹 서치를 수행하기 위한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 웹 서치에 대한 결과를 수신하여 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  14. 제 12 항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 소셜 네트워크 서비스에 대한 사용자 명령이 수신되면, 상기 발화 요소에 기초한 응답 요청 메시지를 생성하여 상기 소셜 네트워크 서비스를 제공하는 SNS 서버로 전송하고, 상기 SNS(Social Network Service) 서버로부터 상기 응답 요청 메시지에 대응되는 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  15. 제 14 항에 있어서,
    상기 동작을 수행하는 단계는,
    사용자 명령에 따라 상기 사용자의 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 사용자의 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  16. 제 14 항에 있어서,
    상기 동작을 수행하는 단계는,
    사용자 명령에 따라 상기 사용자의 SNS 계정과 연동된 SNS 계정 중 선택된 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 선택된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  17. 제 14 항에 있어서,
    상기 동작을 수행하는 단계는,
    사용자 명령에 따라 기설정된 공용 SNS 계정으로 상기 응답 요청 메시지를 전송하고, 상기 공용 SNS 계정과 연동된 SNS 계정으로부터 상기 응답 메시지를 수신하여 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  18. 제 14 항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 응답 메시지가 수신되면, 상기 응답 메시지 수신을 알리는 알림 정보를 출력하는 것을 특징으로 하는 응답 정보 제공 방법.
  19. 제 10 항에 있어서,
    상기 대화형 서버는,
    상기 수집된 사용자 음성을 텍스트 정보로 변환하는 제1 서버 및 상기 텍스트 정보로 변환된 사용자 음성에 대응되는 응답 정보를 생성하는 제2 서버를 포함하며,
    상기 전송하는 단계는,
    상기 사용자 음성에 대한 디지털 신호로 상기 제1 서버로 전송하는 단계;
    상기 제1 서버로부터 상기 사용자 음성에 대한 텍스트 정보를 수신하는 단계;
    상기 수신한 텍스트 정보를 상기 제2 서버로 전송하는 단계; 및
    상기 제2 서버로부터 상기 사용자 음성에 대응되는 응답 정보를 수신하는 단계;
    를 포함하는 것을 특징으로 하는 응답 정보 제공 방법.
  20. 제 19 항에 있어서,
    상기 동작을 수행하는 단계는,
    상기 사용자 음성 내에 EPG 관련 발화 요소 또는 상기 디스플레이 장치의 동작 제어 관련 발화 요소가 포함된 경우, 상기 제2 서버로부터 수신한 응답 정보에 기초하여 상기 사용자 음성에 대응되는 응답 메시지 출력 및 기능 실행 중 적어도 하나의 동작을 수행하는 것을 특징으로 하는 응답 정보 제공 방법.
KR20120072448A 2012-07-03 2012-07-03 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법 Withdrawn KR20140004515A (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR20120072448A KR20140004515A (ko) 2012-07-03 2012-07-03 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법
US13/918,034 US9412368B2 (en) 2012-07-03 2013-06-14 Display apparatus, interactive system, and response information providing method
PCT/KR2013/005841 WO2014007502A1 (en) 2012-07-03 2013-07-02 Display apparatus, interactive system, and response information providing method
CN201310275895.5A CN103533021A (zh) 2012-07-03 2013-07-02 显示设备、交互式系统和响应信息提供方法
EP20130174664 EP2683175A1 (en) 2012-07-03 2013-07-02 Display apparatus, interactive server, and response information providing method
MX2014014794A MX341169B (es) 2012-07-03 2013-07-02 Aparato de visualizacion, sistema interactivo, y metodo de provision de informacion de respuesta.
BR112014032092A BR112014032092A2 (pt) 2012-07-03 2013-07-02 aparelho de visualização, e método para fornecer informação de resposta para fornecer informação de resposta apropriada a uma voz do usuário em um aparelho de visualização.
RU2015103239/07A RU2583445C1 (ru) 2012-07-03 2013-07-02 Устройство отображения, интерактивная система и способ обеспечения ответной информации
JP2013139935A JP2014013569A (ja) 2012-07-03 2013-07-03 ディスプレイ装置、対話型システム及び応答情報提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20120072448A KR20140004515A (ko) 2012-07-03 2012-07-03 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법

Publications (1)

Publication Number Publication Date
KR20140004515A true KR20140004515A (ko) 2014-01-13

Family

ID=48700435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120072448A Withdrawn KR20140004515A (ko) 2012-07-03 2012-07-03 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법

Country Status (9)

Country Link
US (1) US9412368B2 (ko)
EP (1) EP2683175A1 (ko)
JP (1) JP2014013569A (ko)
KR (1) KR20140004515A (ko)
CN (1) CN103533021A (ko)
BR (1) BR112014032092A2 (ko)
MX (1) MX341169B (ko)
RU (1) RU2583445C1 (ko)
WO (1) WO2014007502A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065872A (ko) * 2016-12-07 2018-06-18 주식회사 알티캐스트 대화형 방식의 화면을 제공하는 방법 및 장치
KR20190059731A (ko) * 2017-11-23 2019-05-31 주식회사 케이티 멀티 도메인 기반의 챗봇 시스템 및 챗봇 서비스 제공 방법
KR20190100630A (ko) * 2018-02-21 2019-08-29 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10521723B2 (en) 2016-12-14 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
KR20200008838A (ko) * 2018-07-17 2020-01-29 김하륜 가상 면접 제공 방법 및 이를 이용하는 장치

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8917913B2 (en) * 2011-09-22 2014-12-23 International Business Machines Corporation Searching with face recognition and social networking profiles
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102746303B1 (ko) 2013-02-07 2024-12-26 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
JP2015011170A (ja) * 2013-06-28 2015-01-19 株式会社ＡＴＲ−Ｔｒｅｋ ローカルな音声認識を行なう音声認識クライアント装置
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN104700836B (zh) * 2013-12-10 2019-01-29 阿里巴巴集团控股有限公司 一种语音识别方法和系统
US9858039B2 (en) * 2014-01-28 2018-01-02 Oracle International Corporation Voice recognition of commands extracted from user interface screen devices
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2016061970A (ja) * 2014-09-18 2016-04-25 株式会社東芝 音声対話装置、方法およびプログラム
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
KR102216451B1 (ko) * 2014-10-01 2021-02-17 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 제어 방법
CN104505091B (zh) * 2014-12-26 2018-08-21 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
CN104809159B (zh) * 2015-03-27 2019-04-12 百度在线网络技术（北京）有限公司 一种用于获得服务信息的方法和装置
WO2016157662A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US10257670B2 (en) * 2015-04-16 2019-04-09 Samsung Electronics Co., Ltd. Portable device and method for providing notice information thereof
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10831283B2 (en) * 2016-06-02 2020-11-10 Samsung Electronics Co., Ltd. Method and electronic device for predicting a response from context with a language model
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474703B2 (en) 2016-08-25 2019-11-12 Lakeside Software, Inc. Method and apparatus for natural language query in a workspace analytics system
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN107146612B (zh) * 2017-04-10 2020-05-15 北京猎户星空科技有限公司 语音引导方法、装置、智能设备及服务器
KR102380717B1 (ko) * 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
KR102524180B1 (ko) * 2017-11-15 2023-04-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102532300B1 (ko) 2017-12-22 2023-05-15 삼성전자주식회사 어플리케이션 실행 방법 및 이를 위한 장치
JP7130201B2 (ja) * 2018-01-18 2022-09-05 株式会社ユピテル 装置及びプログラム等
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
EP3780641B1 (en) * 2018-03-27 2023-01-25 Sony Group Corporation Information processing device, information processing method, transmission device and transmission method
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109902163B (zh) * 2019-02-28 2022-03-01 百度在线网络技术（北京）有限公司 一种智能应答方法、装置、设备及存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US12249338B2 (en) 2019-04-18 2025-03-11 Maxell, Ltd. Information processing device and digital assistant system
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US12021806B1 (en) 2021-09-21 2024-06-25 Apple Inc. Intelligent message delivery

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4210877B2 (ja) * 1999-01-26 2009-01-21 ソニー株式会社 受信装置、受信装置の制御方法、送信装置及び送信方法
US20020143550A1 (en) 2001-03-27 2002-10-03 Takashi Nakatsuyama Voice recognition shopping system
US20020198716A1 (en) 2001-06-25 2002-12-26 Kurt Zimmerman System and method of improved communication
US7548858B2 (en) 2003-03-05 2009-06-16 Microsoft Corporation System and method for selective audible rendering of data to a user based on user input
US20050120391A1 (en) 2003-12-02 2005-06-02 Quadrock Communications, Inc. System and method for generation of interactive TV content
US9208785B2 (en) * 2006-05-10 2015-12-08 Nuance Communications, Inc. Synchronizing distributed speech recognition
US20110054900A1 (en) 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
US8949266B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
US8175885B2 (en) 2007-07-23 2012-05-08 Verizon Patent And Licensing Inc. Controlling a set-top box via remote speech recognition
US9628208B2 (en) 2008-02-26 2017-04-18 International Business Machines Corporation System, method and program product for customizing presentation of television content to a specific viewer and location
JP2011521520A (ja) * 2008-04-16 2011-07-21 ワイコフ， リチャード ダレル 携帯型マルチメディア受信および送信装置
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
JP5471274B2 (ja) 2009-10-14 2014-04-16 日本電気株式会社 携帯端末装置及び情報記録方法
EP2339576B1 (en) 2009-12-23 2019-08-07 Google LLC Multi-modal input on an electronic device
US8626511B2 (en) 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
JP2011199698A (ja) * 2010-03-23 2011-10-06 Yamaha Corp Ａｖ機器
KR20120011945A (ko) 2010-07-28 2012-02-09 삼성전자주식회사 아이피 텔레비전에서 음성 인식을 이용한 인터넷 검색 방법 및 장치
JP2012085009A (ja) * 2010-10-07 2012-04-26 Sony Corp 情報処理装置および情報処理方法
WO2012063360A1 (ja) 2010-11-12 2012-05-18 パイオニア株式会社 情報出力装置、情報出力方法、情報出力プログラム及び情報システム
JP5584603B2 (ja) * 2010-12-06 2014-09-03 富士通テン株式会社 情報提供システムおよび情報提供装置
US20120317492A1 (en) * 2011-05-27 2012-12-13 Telefon Projekt LLC Providing Interactive and Personalized Multimedia Content from Remote Servers
US20120316875A1 (en) * 2011-06-10 2012-12-13 Red Shift Company, Llc Hosted speech handling

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065872A (ko) * 2016-12-07 2018-06-18 주식회사 알티캐스트 대화형 방식의 화면을 제공하는 방법 및 장치
US10521723B2 (en) 2016-12-14 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
KR20190059731A (ko) * 2017-11-23 2019-05-31 주식회사 케이티 멀티 도메인 기반의 챗봇 시스템 및 챗봇 서비스 제공 방법
KR20190100630A (ko) * 2018-02-21 2019-08-29 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US11733965B2 (en) 2018-02-21 2023-08-22 Lg Electronics Inc. Display device and operating method thereof
KR20200008838A (ko) * 2018-07-17 2020-01-29 김하륜 가상 면접 제공 방법 및 이를 이용하는 장치

Also Published As

Publication number Publication date
US9412368B2 (en) 2016-08-09
MX2014014794A (es) 2015-02-24
MX341169B (es) 2016-08-10
US20140012585A1 (en) 2014-01-09
WO2014007502A1 (en) 2014-01-09
CN103533021A (zh) 2014-01-22
JP2014013569A (ja) 2014-01-23
BR112014032092A2 (pt) 2017-08-01
RU2583445C1 (ru) 2016-05-10
EP2683175A1 (en) 2014-01-08

Similar Documents

Publication Publication Date Title
KR20140004515A (ko) 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법
EP2675153A1 (en) Display apparatus, interactive server, and method for providing response information
KR102056461B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR101914708B1 (ko) 서버 및 서버의 제어 방법
EP2674941B1 (en) Terminal apparatus and control method thereof
EP2919472A1 (en) Display apparatus, method for controlling display apparatus, and interactive system
KR20140093303A (ko) 디스플레이 장치 및 그의 제어 방법
CN115793945A (zh) 交互服务器及其控制方法和交互系统
US20150201246A1 (en) Display apparatus, interactive server and method for providing response information
CN103796044A (zh) 广播接收设备、服务器及其控制方法
KR20200008341A (ko) 화면을 제어하는 미디어 재생 장치, 방법 및 화면을 분석하는 서버
KR20180014137A (ko) 디스플레이 장치 및 그의 제어 방법
KR102160756B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20140026220A (ko) 단말 장치 및 단말 장치의 제어 방법
KR102182689B1 (ko) 서버 및 그의 제어 방법
KR20140137263A (ko) 대화형 서버, 디스플레이 장치 및 제어 방법
KR20170038772A (ko) 디스플레이 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120703

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid