[go: up one dir, main page]

KR100872191B1 - 발표 하이퍼링크 타임 테이블 생성 방법, 발표 처리 방법, 컴퓨팅 시스템 및 컴퓨터 판독가능한 기록 매체 - Google Patents

발표 하이퍼링크 타임 테이블 생성 방법, 발표 처리 방법, 컴퓨팅 시스템 및 컴퓨터 판독가능한 기록 매체 Download PDF

Info

Publication number
KR100872191B1
KR100872191B1 KR1020057003143A KR20057003143A KR100872191B1 KR 100872191 B1 KR100872191 B1 KR 100872191B1 KR 1020057003143 A KR1020057003143 A KR 1020057003143A KR 20057003143 A KR20057003143 A KR 20057003143A KR 100872191 B1 KR100872191 B1 KR 100872191B1
Authority
KR
South Korea
Prior art keywords
hyperlink
presentation
term
time
audience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020057003143A
Other languages
English (en)
Other versions
KR20050047104A (ko
Inventor
카로 페르난도 인세르티스
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20050047104A publication Critical patent/KR20050047104A/ko
Application granted granted Critical
Publication of KR100872191B1 publication Critical patent/KR100872191B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은, 생중계 발표(live speech)를 청취하는 청중이 해당 발표 진행 동안에 발음된 용어와 관련된 상보적 정보를, 발표 직후 또는 시간이 경과한 후에 액세스할 수 있게 하는 시스템, 방법 및 컴퓨터 프로그램에 관련된다. 이 시스템은 발표 진행 과정 동안에 발표자에 의해 발음될 가능성이 있는 선택 용어 및 단어를 하이퍼링크(hyperlinks)(즉, URL)와 연관시킨다. 발표자 디바이스 상에서 작동되는 음성 인식 시스템(즉, 마이크가 연결되어 있는 컴퓨터 시스템)은, 발표(즉, 단어 추출(word spotting))의 진행 동안에 발표자에 의해 상기 하이퍼링크 용어 중의 하나에 대한 발음을 인식하고, 각각의 인식된 하이퍼링크 용어가 발음된 시간을 기록한다. 이 시스템은 또한 동일한 세계 표준 시각(universal time)에 따라서 발표자 디바이스와 여러 청중 디바이스(예를 들면, 워크스테이션, 휴대용 컴퓨터, PDA(personal digital assistants), 스마트폰(smart phones) 또는 임의의 다른 타입의 휴대용 컴퓨터 장치 등)가 동기화되어, 발표자와 청중의 상대적 위치에 무관하게 발표자에 의해 송신되고, 청중에 의해 수신된 정보의 흐름이 언제나 동기화되게 하는 것을 기초로 한다. 청중이 발표 진행 동안에 관심이 가는 주제를 인식할 때마다, 청중은 청중 디바이스 상에 마련된 키를 누르는 것에 의해 간단하게 해당 주제를 선택한다. 청중이 주제를 선택하는 세계 표준 시각은 청중 디바이스 내에 저장된다.

Description

발표 하이퍼링크 타임 테이블 생성 방법, 발표 처리 방법, 컴퓨팅 시스템 및 컴퓨터 판독가능한 기록 매체{SYSTEM AND METHOD FOR ENHANCING LIVE SPEECH WITH INFORMATION ACCESSED FROM THE WORLD WIDE WEB}
본 발명은 일반적으로 생중계 이벤트(live event) 내에 상보적 정보의 액세스 수단을 포함시키는 기법에 관한 것으로, 보다 구체적으로는 생중계 발표(live speech) 또는 생방송 프로그램 등과 같은 생중계 이벤트를, 정보 특히, 월드 와이드 웹(World Wide Web)에서 액세스 가능한 정보를 가지고 향상시키는 시스템 및 방법에 관련된다.
현 사회에서는, 정보 및 서비스에 대한 욕구가 증대되고 있다. 생중계 이벤트를 청취하는 대부분의 관객(예를 들면, 발표자에 의해 제시되는 컨퍼런스를 청취하는 청중) 또는 생중계 라디오 또는 텔레비전 방송 프로그램을 청취하는 청중은, 상보적 정보에 대한 액세스를 갖고 싶어한다. 이러한 상보적 정보는 풋볼 경기의 선수에 대한 일대기, 뉴스 프로그램에서 언급되는 이벤트에 대한 역사적 배경 또는 올림픽 경기의 방송 동안의 경기 기록으로 이루어질 수 있다.
사실상, 오늘날에는 사람들은 근거리에서는 생중계 이벤트의 관객으로서, 원거리에서는 생방송 프로그램의 청중으로서 자신들이 청취하는 내용에 대한 더 많은 정보를 검색한다.
· 소비자는 광고되는 제품과 연관된 특별 서비스에 대한 액세스를 갖고 싶어한다.
· 매체 제공자는 소비자, 보다 구체적으로는 생중계 텔레비전 또는 라디오 프로그램의 청중에게 제공되는 서비스의 양과 서비스의 품질 및 정보를 확대시키는 것에 의해 새로운 소득원을 얻고자 기대한다.
· 광고업자들은 새롭고 더욱 효과적인 형태의 광고를 찾고 있다.
웹 상에서의 온라인 서비스(On-line Services)
라디오 및 텔레비전의 대규모 개발에 무관하게, 월드 와이드 웹(즉 웹(Web)) 상에서 제공되는 온라인 서비스는 현 사회에 급속히 나타나고, 현재 광범위하게 이용할 수 있다. 인터넷 기술을 기반으로 하는 이러한 온라인 서비스는, 대화형 방식(interactive basis)으로 막대한 양의 정보에 대한 액세스를 제공한다. 인터넷은 컴퓨터로 이루어지는 글로벌 네트워크이다. 인터넷은 TCP/IP("Transmission Control Protocol/Internet Protocol")로 지칭되는 언어를 이용하여 다양한 서로 다른 운영 시스템 또는 언어를 기반으로 하는 컴퓨터를 접속시킨다. 인터넷의 규모 및 복잡성이 증가됨에 따라, 사용자가 네트워크 상에서 정보를 찾는 것을 돕기 위한 툴(tools)이 개발되어 왔다. 이러한 툴은 종종 "네비게이터(navigators)" 또 는 "네비게이션 시스템(navigation systems)"으로 지칭된다. 월드 와이드 웹("WWW" 또는 "웹")은 최신의 우수한 네비게이션 시스템이다. 웹은,
· 인터넷 기반의 네비게이션 시스템이고,
· 인터넷에 의한 정보 배포 및 관리 시스템이며,
· 웹 상에서 통신하기 위한 동적 포맷(dynamic format)이다.
인터넷 및 웹은 수백만의 사용자에게 정보에 액세스 및 교환하게 하고, 서로 간에 통신할 수 있게 함으로써 현 사회를 변화시키고 있다. 화상(images), 텍스트, 음향 및 영상을 통합시키는 것에 의해, 그래픽 사용자 인터페이스(graphical user interface)를 이용하는 웹 상의 사용자는 오늘날 시스템 상의 상이한 컴퓨터와, 상이한 시스템 애플리케이션과, 상이한 정보 포맷을 가지고 예를 들면, 텍스트, 음향 및 그래픽을 포함하는 파일 및 문서를 용이하게 통신할 수 있다. 현재, 웹 상의 온라인 시스템은 예를 들면, 개인용 메시지 서비스, 전자 상거래(electronic commerce), 뉴스, 실시간 게임, 전자 데이터베이스에 대한 액세스, 전자 회보(electronic newsletters), 기업 간 거래(business-to-business transactions), 또는 직업 소개 제공 서비스 등과 같은 다양한 여러 서비스를 사용자에게 제공할 수 있다.
그러나, 이러한 온라인 서비스를 현재 널리 이용할 수 있다고 해도, 웹 상에서 관련 정보를 검색하고 찾는 것은 힘든 작업으로서, 숙련된 사용자라고 할지라도 때로는 몇 시간이 소요되기도 한다. 분명하게, 웹은 기본적으로 개방된, 다중 포인트 간 네트워크(multi-point to multi-point network)이므로, 각 사용자는 여러 서로 다른 서버로부터 서로 다른 정보를 선택하고 검색할 수 있다. 사실상, 오늘날, 대부분의 웹을 이용한 온라인 상호 작용은, 단지 텍스트 입력을 통해, 예를 들면 URL(Uniform Resource Locator) 명칭을 입력하거나, 검색 도구 상에 키워드를 입력하거나, HTML(Hypertext Markup Language) 문서에 대한 텍스트 하이퍼링크를 활성화시키는 것에 의해서 이루어진다. 가까운 미래에, 시청각적 인터페이스(예를 들면 음성형 인터페이스(human speech interfaces), 웹-전화 결합체(Web-phone integration) 등)의 개발에 따라 온라인 환경 내에서 텍스트 입력의 중요성이 더욱 더 감소될지라도, 웹에서의 대량성(massiveness), 조직성의 부재(lack of organization), 및 무작위성에 기인하여 웹이 사용자가 사용하기에 용이하지 않게 될 만한 좋은 기회가 존재한다. 간단히 말해서, 웹 내에서는, 순서나 방향이 존재하지 않는다. 정보는 대부분 찾기 어려운 상태로 유지되고, 예측 가능한 미래에 원하는 맥락 내에 속하는 원하는 정보를 찾는 것은 더욱 어려운 작업일 것이다.
생중계 발표에서의 온라인 서비스
다중 포인트 간 웹 네트워크와는 다르게, 청중(발표자와 동일한 위치에 있는 청중 또는 원거리에 위치하는 청중, 즉 라디오 또는 텔레비전 방송국을 통해 액세스하는 청중)에 대한 생중계 발표는 기본적으로 단일 송신기(emitter)로부터 다수의 수신기로의 통신이다. 모든 청중은 발표자의 근거리에 있던지, 방송국을 통해 원거리에 위치하던지 간에 동일한 컨텐츠를 수신한다.
따라서, 웹 상에서 액세스될 수 있는 것과 동일한 온라인 서비스를 제공하기 위해서, 생중계 발표에서의 첫 번째 문제는, 단일 정보원으로부터 다수의 수신기로, 제공자로부터 다수의 청중에게로 정보가 동일 방향으로 연속적인 흐름을 유지해야 한다는 것이다. 청중과의 임의의 정보 교환이 존재하지 않는다면 통신 흐름은 한 방향으로 한정된다. 사용자들은 수신된 음성 정보(oral information)와 직접 대화하여 추가적인 정보 또는 서비스에 액세스할 수 없다.
또한, 청중이 생중계 발표를 청취할 때, 청중에게 있어서의 문제는 관심이 가는 주제를 선택한 다음, 선택된 주제와 관련된 멀티미디어 정보 또는 서비스에 액세스(예를 들면, 웹에서)할 네트워크 어드레스(즉, URL)를 식별하는 것이다. 오늘날까지, 이러한 문제는 부분적으로 해결되었다.
음성 또는 라디오 정보에게 웹 유사 기능을 제공하기 위한 해결책은, 정보(예를 들면, URL 등)를 송신되는 방송 음향 신호에 포함시키거나 별도의 채널(동시 방송(simultcast))에 포함시키는 것이다. 이러한 시스템의 예는, "Apparatus and method for initiating a transaction having acoustic data receiver that filters human voice"라는 명칭의 미국 특허 제 6,125,172 호, "Method for controlling a computer with an audio signal"라는 명칭의 미국 특허 제 6,098,106 호, "Network linking method using steganographically embedded data objects"라는 명칭의 미국 특허 제 5,841,978 호, "System, method and device for automatic capture of Internet access information in a broadcast signal for use by an Internet access device"라는 명칭의 미국 특허 제 5,832,223 호, "Media online services access via address embedded in video or audio program" 라는 명칭의 미국 특허 제 5,761,606 호, "Method for encoding and broadcasting information about live event using computer pattern matching techniques"라는 제목의 미국 특허 제 5,189,630 호, "Receiver apparatus and methods for identifying broadcast audio program selections in a radio broadcast system"라는 제목의 미국 특허 제 5,119,507 호 또는 "Synchronized presentation of television programming and web content"라는 명칭의 미국 특허 제 6,061,719 호에 개시되어 있다.
이러한 특허에서 설명된 시스템 및 방법은, 주요 프로그램의 전송과 동시에, 동일한 음향 또는 영상 신호에 대해 인코딩, 삽입 또는 변조되거나, 별도의 채널 상에서 전송되는 상보적 정보(예를 들면 URL 등)의 전송을 필요로 한다. 라디오 또는 텔레비전 방송국은, 음향 신호와 함께 이러한 상보적 정보를 인코딩, 변조 및 송신하는 수단을 포함해야 한다. 라디오의 청중 또는 텔레비전 시청자는 이러한 정보를 복원하기 위한 특수한 수신기 및 디코더 회로를 구비해야 한다.
상술된 장치와 무관하게, 시스템은 청중이 관심이 가는 주제(즉, 키워드 또는 문장)를 "사전 선택(pre-select)"할 수 있게 하고, 이러한 주제와 사전 지정된 네트워크 어드레스(즉, URL)를 연관시킬 수 있도록 개발되어 왔다. 이러한 사전 지정된 네트워크 어드레스는 사전 선택된 주제와 관련된 멀티미디어 정보 또는 서비스에 액세스하기 위해 사용된다. 일반적으로 말해서, 이러한 시스템은 모두 음성 인식 기법을 기반으로 한다. 이러한 기법은 특정 사운드의 인식에 응답하여 특정 동작을 수행하게 하는 키워드(즉, 선택된 단어 또는 문장)를 식별하는 데 사용된다. 이러한 시스템의 예는 이하의 특허에서 확인할 수 있다.
"Keyword listening device"라는 제목의 미국 특허 제 5,946,050 호는 키워드 청취 장치(keyword listening device)를 이용하여, 비교적 제한된 세트의 키워드가 저장되어 있는 방송 신호의 음향 부분을 모니터링하는 방법 및 시스템에 관해 개시한다. 키워드 청취 장치는 이러한 키워드 모두에 대한 방송 신호를 모니터링한다. 임의의 하나 이상의 키워드를 인식하면, 방송 음향 신호는 소정 시간 주기로 기록되고, 다음에 완전히 분석된다. 분석 이후에, 또한 기록되고 분석된 방송 음향 신호에 따라서, 특정 어드레스에서 외부 네트워크로의 접속 또는 비디오 카세트 레코더(video cassette recorder)의 제어 등과 같은 다수의 서로 다른 기능을 수행할 수 있다.
"Automatic recognition of audio information in a broadcast program"라는 명칭의 미국 특허 제 6,011,854 호는 하나 이상의 무선국에 걸쳐 방송되는 정보 리포트 또는 업데이트(교통, 날씨, 시간, 스포츠, 뉴스 등)를 검색하는 음향 처리 시스템에 관해 개시하였다. 검색은 사용자에 의해 사전 선택되고, 음향 처리 시스템에 입력된 적어도 하나의 키워드(원하는 리포트에 따라서, "교통", "날씨", "시간", "스포츠", "뉴스" 등)에 기초한다. 음향 처리 시스템에 의해 사용된 음성 인식 소프트웨어는 요청된 정보 리포트를 위해서 라디오 방송국을 스캐닝하지만, 사용자는 다른 음향원(CD, 테이프, 다른 라디오 방송국 등)을 청취할 수 있는데, 이 경우에 이 음향원으로부터의 정보 컨텐츠를 모니터링(즉, 청취)할 필요가 없다. 입력된 키워드에 기초하여 라디오 방송에 사용되는 요청된 정보 리포트가 검출되면, 음향 처리 시스템은 그 음향 출력을 원하는 방송을 송신하는 라디오 방송국으로 스위칭하여, 사용자가 교통, 날씨, 시간, 스포츠 및/또는 뉴스 리포트 또는 업데이트를 적시에 편리하게 청취할 수 있게 한다.
"Broadcast speech recognition system for keyword monitoring"라는 명칭의 미국 특허 제 6,332,120 호는 관심 대상이 되는 정보를 위하여 자동적으로 방송 음향을 모니터링하는 시스템에 관해 개시하였다. 이 시스템은 관심 대상이 되는 키워드의 어휘를 저장하기 위한 메모리를 구비하는 컴퓨터 프로세서와, 음향 방송을 수신하는 음향 수신기와, 음향 수신기 및 컴퓨터 프로세서와 연결되어 키워드 중의 하나가 수신된 음향 세그먼트에서 나타나는 시간을 검출하는 음성 인식 시스템을 포함한다. 컴퓨터 프로세서와 연결되고 키워드의 검출에 응답하는 보고 생성기(report generator)는 검출된 키워드 및 그 내용과 관련된 세부 사항에 대한 보고를 생성한다.
앞서 상술된 시스템에서 음향 신호에 내장하여 (또는 주 프로그램의 재전송과 동시에 전송되는 2차 신호로) 상보적 정보를 전송할 필요가 없다고 해도, 청중은 데이터 스트림 내에서 하이퍼링크 용어 발생을 검출하기 위한 음성 인식 기능을 가진 수신기를 구비해야 한다.
발표 처리의 분야에서, 음성 데이터의 스트림 내에서 단어 또는 문장의 발생을 식별하는 능력은 통상적으로 "단어 추출(word spotting)"로 지칭된다. 음향 단어 추출(audio wordspotting)의 목적은 사전의 수동적 편집을 필요로 하지 않으면서 디지털화된 연속 발표 스트림 내에서 검색어의 범위를 식별하기 위한 것이다. 임의의 발표자에 의해 표명되어야 하는 생중계 발표를 검색하고 인덱싱(indexing)하는 것은 특히 문제가 발생될 여지가 많다. 이는 대체로, 기존의 자동적 음성 인식 기술의 제한된 기능에 기인한다. 상술된 시스템에서, 단어 추출 작업은 발표자에 무관한 방식으로, 청중 측에서 이루어지고, 인식할 데이터 이외의 음성 데이터를 이용하도록 조정된 발표 모델을 사용한다는 것을 유의하는 것은 중요하다.
사실상, 모든 시스템에서의 기본적인 문제점은, 알려지지 않았거나 일반적인 발표 스타일, 어휘, 노이즈 레벨 및 언어 모델에 기초하여, 발표자에 무관하게 연속적인 방식으로 "단어 추출"(즉, 사전 지정된 키워드 또는 용어의 식별)을 수행하는 데 있어서, 최신 기술 수준의 음성 인식 기술의 작용을 신뢰할 수 없다는 데 있다.
상술된 설명에서 표현된 바와 같이, 최근 몇 년간 동안에도, 사용자와의 대화 레벨을 증가 및 향상시키고, 더 많은 정보, 학습 또는 오락 기회(예를 들면, 대화형 텔레비전, 웹TV(WebTV) 등)를 제공하기 위한 대화형 시스템(interactive systems)이 개발되어 왔으나, 웹 상에서 찾을 수 있는 것과 같은 중요한 정보원은 생중계 발표(예를 들면, 라디오 또는 텔레비전 방송으로부터 수신된 생중계 컨퍼런스 또는 생중계 인터뷰 등)의 청중에게 있어서 여전히 액세스 불가능하다.
따라서, 오늘날에는, 생중계 발표를 청취하는(예를 들면, 그 대신에 생중계 방송 프로그램을 수신하는) 청중이 상보적 정보를 선택하고 액세스할 수 잇게 하는 편리하고, 보편적이며, 용이한 메커니즘을 제공할 필요가 있다.
또한, 종래의 일방적 방송 신호(one-way broadcast signals)에서와 같이 이 러한 하이퍼링크를 포함시킬 필요없이, 또한 보다 일반적으로는 이러한 하이퍼링크를 물리적으로 전송할 필요가 없고 종래의 송신기 또는 수신기를 수정할 필요없이, 생방송 프로그램의 발표자 및 프로듀서가 발표 동안에(예를 들면, 컨퍼런스 진행 동안에 또는 생중계 라디오 또는 텔레비전 프로그램 동안에) 발음될 선택된 용어(일반적으로 선택된 구어 발언(utterances), 단어 또는 문장)로부터 웹 상의 관련 데이터로의 하이퍼링크를 생성하게 할 필요성이 존재한다.
본 발명의 총체적인 목적은 생중계 발표 또는 생중계 라디오 또는 텔레비전 방송 프로그램 등과 같은 음향 정보를, 상보적 정보 또는 해당 음향 정보에 관련된 서비스를 가지고 강화시키는 것이다.
본 발명의 다른 목적은, 발표 진행 동안에 발표자에 의해 발음될 선택된 용어 또는 단어와, 이러한 선택된 용어에 관련된 상보적 정보 사이에 하이퍼링크를 생성하는 것이다.
본 발명의 또 다른 목적은, 발표 진행 동안에 발표자에 의해 하이퍼링크 용어가 발음될 때 해당 하이퍼링크 용어를 식별하고, 이러한 식별된 용어와 관련된 하이퍼링크를 활성화시키는 것이다.
본 발명의 다른 목적은 생중계 발표 진행 동안에, 청중이 자신의 관심을 끄는 주제와 관련된 하나 이상의 용어를 선택하게 하고, 상기 발표 직후 또는 시간이 경과한 후에, 이전에 선택된 주제에 관련된 정보에 액세스할 수 있게 하는 것이다.
본 발명의 또 다른 목적은, 생중계 발표의 청중이 발표 진행 동안에, 요구되는 장비의 복잡도를 최소화하면서, 청중측에서의 최소의 노력 및 참여에 의해 자신의 주의를 끄는 주제에 관련된 정보에 액세스할 수 있게 하는 것이다.
본 발명은 청구항의 독립항에 정의된 바와 같이, 발표 직후 또는 시간이 경과한 후에, 생중계 발표의 청중이 발표 동안에 발음된 용어와 관련된 정보를 액세스할 수 있게 하는 시스템, 방법 및 컴퓨터 프로그램에 관련된다.
이 시스템은 발표 진행 동안에 발표자에 의해 발음될 가능성이 있는 선택된 용어 또는 단어와 하이퍼링크(즉, URL)를 연관시킨다. 발표자 디바이스(즉, 마이크가 접속되어 있는 컴퓨터 시스템) 상에서 작동되는 음성 인식 시스템은, 발표 동안에 상기 하이퍼링크 용어 중의 하나에 대한 발표자의 발음을 인식(즉, 단어 추출)하고, 각각의 인식된 하이퍼링크 용어가 발음된 시간을 기록한다.
또한, 이 시스템은 동일한 세계 표준 시각(universal time)에 따라서 발표자 디바이스와 수 개의 청중 디바이스(예를 들면, 워크스테이션, 휴대용 컴퓨터, PDA(Personal Digital Assistants), 스마트 폰(smart phones) 또는 그 외에 다른 종류의 휴대용(hand-held) 컴퓨팅 디바이스 등)를 동기화(synchronization)하여, 발표자와 청중의 상대적 위치에 무관하게 발표자에 의해 송신되고, 청중에 의해 수신되는 정보의 흐름을 언제나 동기화하는 것을 기반으로 한다. 발표 동안에 청중이 관심이 가는 주제를 인식할 때마다, 청중은 즉시 청중 디바이스 상에 마련된 키를 단순히 누르는 것에 의해 해당 주제를 선택한다. 청중이 주제를 선택한 세계 표준 시각은 청중 디바이스 내에 저장된다.
본 발명의 바람직한 실시예에서, 발표자 디바이스와 청중 디바이스 사이의 동기화는 GPS-시간(Global Positioning System Time), GLONASS(Global Orbiting Navigational Satellite System) 또는 위성 시스템을 기반으로 하는 다른 적절한 표준 시각 등과 같은 세계 표준 시각을 참조하는 것에 의해 이루어진다. GPS 또는 GLONASS 수신기는 발표자 디바이스에 집적되거나 접속된다. GPS 또는 GLONASS 수신기는 각각의 청중 디바이스에 집적되거나 접속된다. 각각의 청중 디바이스는 방송되는 발표를 수신하기 위해 청중에 의해 사용되는 라디오 또는 텔레비전 세트로부터 독립되고 분리되어 있다.
보다 구체적으로, 본 발명은 하나 이상의 포일을 프리젠테이션하는 동안에 발표자 디바이스로부터 발표 하이퍼링크 타임 테이블(Speech Hyperlink-Time Table)을 작성하는 시스템, 방법 및 컴퓨터 프로그램에 관하여 개시하는 것으로, 상기 발표 하이퍼링크 타임 테이블은 한 명 이상의 청중에 의해 액세스될 수 있다. 상술된 방법은,
· 발표자에 의해 발음될 하나 이상의 사전 정의된 하이퍼링크 용어(hyperlinked terms)를 식별하는 수단과, 각각의 하나 이상의 사전 정의된 하이퍼링크 용어에 대한 정보를 탐색(locating)하고 액세스하는 수단을 포함하는 발표 하이퍼링크 테이블을 탐색하고 액세스하는 탐색 및 액세스 단계와,
· 발표 하이퍼링크-타임 테이블의 탐색 및 액세스 수단을 검색하는 단계와,
발표 진행 동안에,
· 발표자가 하이퍼링크 용어를 발음할 때, 발표자 디바이스에 접속된 음성 인식 시스템을 이용하여 발표 하이퍼링크 테이블에서 사전 정의된 하이퍼링크 용어를 인식하는 단계와,
각각의 인식된 하이퍼링크 용어에 대하여,
· 발표자가 인식된 하이퍼링크 용어를 발음하는 것에 대응하는 세계 표준 시각(universal-time)을 결정하는 단계와,
· 발표 하이퍼링크-타임 테이블에 대한 새로운 기록(new record)을 생성하는 단계와,
· 발표자가 상기 인식된 하이퍼링크 용어를 발음하는 것에 대응하는 세계 표준 시각과, 발표 하이퍼링크 테이블로부터 검색된, 인식된 하이퍼링크 용어를 식별하는 수단과, 발표 하이퍼링크 테이블로부터 검색된, 인식된 하이퍼링크 용어에 관련된 정보를 탐색 및 액세스하는 수단을 상기 새로운 기록에 복사하는 단계를 포함한다.
또한, 본 발명은 발표가 진행되는 동안에, 발표자에 의해 발음된 하나 이상의 하이퍼링크 용어를 청중 디바이스로부터 선택하고, 소정 시간이 경과한 후에 하나 이상의 선택된 하이퍼링크 용어 각각에 대해 관련된 정보에 액세스하는 시스템, 방법 및 컴퓨터 프로그램에 관해서도 개시한다. 이 방법은,
· 발표의 진행 동안에 발표자에 의해 당시에 발음된 용어를 선택하는 선택 명령이 수신될 때마다, 당시의 세계 표준 시각을 결정하고, 선택 하이퍼링크 타임 테이블 내에 당시의 세계 표준 시각을 기록하는 단계와,
· 하나 이상의 청중 디바이스에 의해 액세스 가능한 발표 하이퍼링크 타임 테이블에 액세스하는 단계-발표 하이퍼링크 타임 테이블은, 발표자에 의해 발음된 복수의 사전 정의된 하이퍼링크 용어 각각에 대하여, 사전 정의된 하이퍼링크 용어가 발음될 때에 해당되는 세계 표준 시각 간격과, 사전 정의된 하이퍼링크 용어의 식별 수단과, 사전 정의된 하이퍼링크 용어와 관련된 정보를 탐색하고 액세스하는 수단을 포함함-와,
선택 하이퍼링크 타임 테이블 내에 기록된 각각의 세계 표준 시각에 대하여,
· 기록된 세계 표준 시각에서 발음된 선택된 하이퍼링크 용어를 발표 하이퍼링크 타임 테이블 내에서 식별하는 단계와,
· 발표 하이퍼링크 타임 테이블로부터, 선택된 하이퍼링크 용어를 식별하고, 탐색 및 액세스하는 수단을 검색하는 단계와,
· 위의 검색 단계에서 검색된, 선택된 하이퍼링크 용어를 식별하고, 선택된 하이퍼링크 용어에 관련된 정보를 탐색 및 액세스하는 수단을 선택 하이퍼링크-타임 테이블 내에 저장하는 단계를 포함한다.
본 발명의 다른 실시예는 첨부된 종속항에 제시되어 있다.
이하의 명세서, 청구항 및 도면을 참조함으로써, 본 발명의 상술된 목적, 특성 및 이점과 그 외의 목적, 특성 및 이점을 더 잘 이해할 수 있을 것이다.
본 발명의 특성을 갖는 것으로 생각되는 새로운 특징 및 본 발명의 특징은 첨부된 청구항에 제시되어 있다. 그러나, 본 발명 그 자체뿐만 아니라 바람직한 사용 모드, 다른 목적 및 그 이점은 예시적이고 세부적인 실시예에 대한 이하의 상세한 설명을 첨부된 도면과 함께 참조하는 것에 의해 가장 잘 이해될 수 있을 것이다.
도 1은 컨퍼런스 등과 같은 생중계 발표의 청중이 관심이 가는 주제를 인식하는 것을 도시하는 도면.
도 2는 생중계 라디오 또는 텔레비전 프로그램을 청취할 때, 청중이 관심 가는 주제를 인식하는 것을 도시하는 도면.
도 3은 본 발명에 따라서, 발표자 워크스테이션 및 청중 디바이스가 동일한 세계 표준 시각에 따라서 동기화되는 것과, 발표자 디바이스 상에서 작동되는 음성 인식 시스템이 발표자에 의해 발음된 하이퍼링크 용어를 인식하는 것을 도시하는 도면.
도 4는 본 발명에 따라서, 발표자가 미리 발표문을 준비하는 것을 나타내는 도면.
도 5는 본 발명에 따라서, 발표자가 멀티미디어 정보 또는 서비스에 대한 하이퍼링크(즉, 연관된 URL)를 생성하기 위해 발표문, 단어 또는 용어를 선택하는 것을 도시하는 도면.
도 6은 본 발명에 따라서, 발표자가 각각의 하이퍼링크 용어에 대해 멀티미디어 정보 또는 서비스에 액세스하게 하는 어드레스를 연관시키는 발표 하이퍼링크 테이블을 생성하는 것을 도시하는 도면.
도 7은 본 발명에 따라서, 발표 이전에 발표자가 음성 인식 시스템을 트레이닝시키는 것을 도시하는 도면.
도 8은 본 발명에 따라서, 발표 동안에, 발표자 워크스테이션 상에서 작동하는 음성 인식 시스템이 발표자가 하이퍼링크 용어를 발음할 때 해당 하이퍼링크 용어를 인식(즉, 단어 추출)하는 것을 도시하는 도면.
도 9는 본 발명에 따라서, 음성 인식 시스템에 의해 하이퍼링크 용어가 인식(단어 추출)될 때, 인식된 용어, 연관된 어드레스 및 인식된 시간에 대한 세계 표준 시각을 통신 네트워크(예를 들면, 인터넷)에 접속된 발표 서버 상에 위치된 발표 하이퍼링크 타임 테이블 내에 저장하는 것을 도시하는 도면.
도 10은 본 발명에 따라서 발표 서버 상에 저장된 발표 하이퍼링크 타임 테이블의 일례를 도시하는 도면.
도 11은 본 발명에 따라서, 발표 진행 동안에 관심이 가는 주제에 대응되는 용어를 인식한 청중이, 휴대용 컴퓨터 상에 마련된 키를 누르는 것에 의해 간단하게 해당 용어를 선택하는 것을 도시하는 도면.
도 12는 본 발명에 따라서, 발표 동안에 청중이 관심이 가는 용어를 선택한 세계 표준 시각을 청중 디바이스 내에 위치된 선택 하이퍼링크 타임 테이블 내에 저장하는 것을 도시하는 도면.
도 13은 본 발명에 따라서, 청중 디바이스를 통신 네트워크에 접속시키는 것에 의해, 청중이 발표 서버 상에 저장된 발표 하이퍼링크 타임 테이블에 포함된 정보를 이용하여 자신의 워크스테이션 내에 위치된 선택 하이퍼링크 타임 테이블을 업데이트하는 것을 도시하는 도면.
도 14는 본 발명에 따라서, 연관된 URL(Uniform resource Locators)과 함께 하이퍼링크 용어가 식별되고, 발표 서버 상에 저장된 발표 하이퍼링크 타임 테이블로부터 청중 디바이스 상의 선택 하이퍼링크 타임 테이블로 복사되는 것을 도시하는 도면.
도 15는 본 발명에 따라서, 청중이 업데이트된 선택 하이퍼링크 타임 테이블로부터 (발표 동안에 청중에 의해 선택된 관심이 가는 주제에 대응하는) 하이퍼링크 용어를 선택하고, 해당된 하이퍼링크를 활성화하는 것을 도시하는 도면.
도 16은 본 발명에 따라서, 선택된 용어에 대해 하이퍼링크된 멀티미디어 정보 또는 서비스가 통신 네트워크를 통해 액세스되고, 청중 디바이스 상에서 검색되는 것을 도시하는 도면.
도 17은 본 발명에 따라서 발표 하이퍼링크 테이블을 생성하고, 하이퍼링크 용어를 식별하도록 음성 인식 시스템을 트레이닝시키는 단계를 도시하는 도면.
도 18은 본 발명에 따라서 발표 서버 상에 발표 하이퍼링크 타임 테이블을 생성하고, 발표 동안에 발음된 하이퍼링크 용어를 인식하는 단계를 도시하는 도면.
도 19는 본 발명에 따라서 청중 디바이스 상에 선택 하이퍼링크 타임 테이블을 생성하고, 발표 진행 동안에 관심이 가는 주제를 선택하는 단계를 도시하는 도면.
도 20은 URL(Uniform Resource Locators)을 검색하고, 선택된 하이퍼링크 용어에 관련된 정보 또는 서비스에 액세스하는 단계를 도시하는 도면.
도 1 및 도 2에 도시된 바와 같이, 본 발명은 생중계 이벤트(예를 들면, 컨퍼런스에 대한 참가)(102, 202)의 관객(100) 또는 생방송 프로그램에 참가하는 라디오 청중 또는 텔레비전 시청자(200)가, 발표 즉시 또는 시간이 경과한 후에 자신의 주의 또는 관심을 끄는 하나 이상의 주제(101, 201)를 선택하게 하여, 선택된 주제(103, 203)에 관련된 멀티미디어 정보에 쉽게 액세스하게 하는 시스템 및 방법에 관해 개시한다.
도 1은 본 발명에 따른 전형적인 상황을 나타낸다. 생중계 발표(예를 들면, "와인과 건강"이라는 주제에 대한 컨퍼런스)를 시청하는 청중(100)은, 소정의 주제(101)(예를 들면, "레스베라트롤(Resveratrol)"이라는 용어)에 대한 관심을 갖고 있고, 이것에 대해 추가적인 정보를 갖고 싶어할 것이다. 이러한 상황 하에서, 발표 진행 동안에 청중(100)이 주제들(예를 들면, "타닌(Tannis)", "페놀(Phenols)", "레스베라트롤" 등의 용어)을 선택할 수 있게 하고, 발표 즉시 또는 시간이 경과한 후에, 예를 들면 인터넷에 접속된 서버 상에서 선택된 주제에 관련된 정보에 액세스할 수 있게 하는 간단한 메커니즘을 제공할 필요가 있다.
도 2는 다른 전형적인 상황에 대해 도시한다. 텔레비전 시청자(200)는 생방송 발표(예를 들면, "와인과 건강"이라는 주제에 대한 생중계 텔레비전 프로그램 등)를 시청한다.
도 3에 도시된 바와 같이, 하이퍼링크(즉, URL)(303)는 발표 진행 동안에 발표자(301)에 의해 언급될 가능성이 있는 용어 또는 단어(304)와 연관지어진다. 이러한 하이퍼링크 용어 또는 단어는 관련 주제 또는 항목(302)과 관련지어진다. 발표자 워크스테이션(306)(즉, 마이크(307)가 접속되어 있는 컴퓨터 시스템) 상에서 작동되는 음성 인식 시스템(305)은 발표 동안에 상기 하이퍼링크 용어(308) 중의 어느 하나가 발표자에 의해 발음되는 것을 검출하고, 검출된 하이퍼링크 용어가 발음된 시간(309)을 기록한다. 이 시스템은 또한 동일한 세계 표준 시각(309, 310)에 따라서 발표자 디바이스(306)와 수 개의 청중 디바이스(311)(예를 들면, 워크스테이션, 휴대용 컴퓨터, PDA(personal digital assistants), 스마트폰 또는 임의의 다른 타입의 휴대용 컴퓨팅 디바이스 등)를 동기화(312)하여, 발표자(301)와 청중(300)의 상대적 위치에 무관하게, 발표자(301)에 의해 송신되고 청중(300)에 의해 수신되는 정보의 흐름이 언제나 동기화되게 하는 것을 기반으로 한다. 발표 동안에 청중(300)이 관심이 가는 주제(313)를 인식할 때마다, 청중은 즉시 청중 디바이스(311) 상에 마련된 키(314)를 누르는 것에 의해 간단하게 해당 주제를 선택한다. 청중(300)에 의해 주제가 선택된(314) 세계 표준 시각(310)은 청중 디바이스(311) 상에 저장된다.
도 3에 도시된 바와 같이, 본 발명은 다음의 원리를 기초로 한다.
1. 발표자(301)와 청중(300)의 상대적 위치에 무관하게, 동일한 세계 표준 시각(312)(예를 들면, GPS 수신기(309, 310)에 의해 제공된 GPS 시간 등)에 따른 발표자 워크스테이션(306)과 청중 디바이스(311)의 동기화.
2. (마이크가 접속되어 있는) 발표자 워크스테이션(306) 상에서 작동하는 음성 인식 시스템(305)을 이용하여 발표(302) 진행 동안에 발표자(301)에 의해 발음된 하이퍼링크 용어(304)(예를 들면, "레스베라트롤(308)")를 검출함.
세계 표준 시각 타이밍 시스템(Universal Timing Systems)
발표자 및 청중의 위치에 무관한 공통 타이밍 시퀀스(timing sequences)는, 예를 들면, GPS(Global Positioning System) 시각 또는 UTC(Universal Time Co-ordinated) 시각(오늘날에는 GMT 및 ZULU 시각으로도 알려져 있음) 등과 같은 절대 타이밍 기준으로부터 도출될 수 있다.
정확한 타이밍 신호를 송신하기 위해서, GPS는 지구 상으로부터 10,000마일 떨어져서 55°의 경사를 갖는 궤도를 따라 선회하는 24개의 위성을 이용한다. 지구 상의 어느 곳에서도 소정의 GPS 수신기를 가지고 이러한 타이밍 신호를 이용하여 자신의 위치를 결정할 수 있다. 1575 ㎒의 전송에서는 C/A(clear acquisition) 코드로 지칭되는 1-㎒ 대역폭(bandwidth)의 위상 변조 신호(phase-modulated signal)를 전달한다. GPS 수신기가 적어도 3개의 GPS 위성으로부터 이 신호를 수신하면, 이 GPS 수신기는 대략 30미터의 정확도로 자신의 위도 및 경도를 결정할 수 있다. 지리적 위치의 결정과는 별도로, 오늘날 GPS는 PTTI(Precise Time and Time Interval)의 배포를 위해 널리 사용되고 있다. 이 시스템은 위치의 결정을 위해 TOA(time of arrival) 측정을 이용한다. 동시에 시야 범위에 들어오는 4개의 위성의 TOA를 측정함으로써 위치에 추가하여 시각을 획득할 수 있기 때문에, 사용자가 반드시 정확하게 시간이 설정된 시계를 구비할 필요는 없다. 해발 고도를 알 수 있다면, 3개의 위성으로도 충분하다. 사용자가 알려진 위치에 정지하고 있으면, 원칙적으로는 하나의 위성을 관측하는 것에 의해 시각을 획득할 수 있다. GPS 시각 서비스에 관한 정보는 워싱톤 DC에 소재하는 미국 해군 관측소의 "시각 서비스국(Time Service Department)"에서 운영하는 http://tycho.usno.navy.mil/에서 제공되고 있다.
오늘날 GPS는 전세계에서 정확한 시간을 제공하는 주요 공급원이다. GPS는 시각 공급원뿐만 아니라 하나의 위치에서 다른 위치로 시각을 전달하는 수단으로서 널리 사용되고 있다. GPS로부터 GPS 시각과, 미국 해군 관측소에 의해 추정되고 생성된 UTC와, 자유 항해하는 각각의 GPS 위성의 원자 시계로부터 입수 가능한 시간의 3가지 종류의 시간을 입수할 수 있다. 미국 콜로라도주에 소재하는 콜로라도 스프링스 부근의 팔콘(Falcon) 항공 기지에 있는 MCS(Master Control Station)는, 전세계에 있는 5개의 모니터 스테이션(monitor stations)으로부터 GPS 위성의 데이터를 수집한다. 칼만 필터 소프트웨어 프로그램(Kalman filter software program)은 각각의 위성 및 그 작동 시계에 대한 시간 에러, 주파수 에러, 주파수 편차(frequency drift) 및 케플러 궤도 변수(Keplerian orbit parameters)를 구한다. 이 정보는 각각의 위성에 업로드(uploaded)되어, 실시간으로 방송될 수 있다. 이 프로세스는 성좌(constellation)에 걸쳐 소수의 나노초(nanoseconds) 내의 GPS 시간 일치성을 제공하고, 위성에 의한 수 미터 내의 정확한 위치 결정을 제공한다.
제 2의 세계 표준 시각에 관한 표준인 UTC(Universal Time Co-ordinated)는, 지구의 자전과 동기화를 유지하기 위해 리프 세컨드(leap seconds)를 도입한다. GPS 신호로부터 도출 가능한 UTC 시간의 추정치를 제공하기 위해서, UTC 보정의 세 트가 GPS 방송 신호의 일부로서 또한 제공된다. 이 방송 메시지는 GPS 시각의 전체 초와 UTC의 전체 초 사이의 시간차를 포함한다. 이는 데이터 스트림의 완만한 흐름을 처리하거나, 데이터 샘플들 사이의 시각을 계산하는 소프트웨어가 복잡해지게 한다. 본 시스템은 리프 세컨드의 도입을 회피하기 때문에 본 발명에서는 GPS 시각이 바람직하고, GPS 시각은 UTC에 대해 용이하게 연관될 수 있다. UTC(GMT) 시각 서비스에 대한 정보는 http://time.greenwich2000.com/에서 확인할 수 있다.
GPS 수신기
직접 디지털형(Direct-to-Digital) GPS 수신기는 다음의 웹 사이트에서 설명되어 있다.
http://w3.research.ibm.com/present/gto200038.htm
이는 GPS를 모든 기기(예를 들면, PDA, 이동 전화기, 착용식 컴퓨터, 비디오 카메라 등)에 집적시킬 수 있는 저렴한 소형칩의 예이다. 이 수신기는 IBM과 Leica에 의해 공동으로 개발되었다. CMOS 기법과 통합될 때, SiGe 기법의 고속 아날로그 성능은, 디지털 GPS(Global Positioning System) 수신기에 이 단일 칩을 직접적으로 집적시킬 수 있도록 허용한다. GPS로부터 도출된 위치 정보는, 지도 제작 및 측량에서부터 911 전화 통화 발신자의 차량 추적, 자동화된 농업용 차량 및 로봇 골프 카트까지의 여러 다양한 용도로 이용될 수 있다는 것이 확인되고 있다. 이 수신기 칩은 무선 범위 및 복잡성을 감소시킨다. 여기에는 아날로그 믹서 스테이지(analog mixer stages)가 존재하지 않을 뿐만 아니라, (고품질 필터 등과 같 이) 종래의 2단계 아날로그 하향 변환(two stage analog down conversion)을 필요로 하는 값비싼 이산 부품(discrete component)이 존재하지 않는다. 그 대신에, 입력된 GPS 신호는 안테나에서 직접적으로 완전히 디지털화된 다음, CMOS 기반 칩 내에서 디지털 방식으로 필터링된다. 이러한 직접 디지털화는 매우 적은 전력을 가지고 고속으로 실행될 수 있는 SiGe 기술의 성능에 의해 가능해진 것이고, 이 기술의 핵심은 SiGe 기반의 아날로그-디지털 데이터 변환기이다.
본 발명에 따르면, GPS 또는 GLONASS 수신기는 발표자 워크스테이션(전형적으로는, 퍼스널 컴퓨터) 및 청중 디바이스(예를 들면, 퍼스널 컴퓨터, 착용식 컴퓨터, PDA(Personal Digital Assistants), 스마트 폰, 온보드 이동 컴퓨터(onboard mibile computers) 등)에 집적되거나 접속되어야 한다. GPS 또는 GLONASS 위성으로부터 수신된 세계 표준 시각 타이밍 신호를 사용하여, 동일한 세계 표준 시각에 따라서 발표자 워크스테이션과 청중 디바이스 상의 내부 전자 클로킹 시스템(internal electronic clocking systems)을 초기화하고 동기화한다. GPS 또는 GLONASS 위성이 시야 범위 밖에 있고(예를 들면, 발표자 또는 청중의 디바이스가 건물 내에 있거나 외부 안테나에 접속되지 않는 것 등), 그에 따라 이러한 위성으로부터 타이밍 신호가 수신되지 않는 주기 동안에, 타이밍 정보는 이러한 디바이스의 자동 전자 클로킹 시스템으로부터 계속하여 도출되어야 한다. 디바이스 내에 설치된 클로킹 시스템의 드리프트(drift)에 따라서, 또한 충분한 타이밍 정확도를 유지하고, 사용자의 디바이스가 발표자 워크스테이션 및 방송국과 동일한 세계 표준 시각으로 동기화되었는지 확인하기 위해서, 위성 신호의 주기적인 인식을 다소 자주 수행해야 한다. 실제적으로,
·사용자 디바이스가 휴대용이거나 차량용 탑재형 디바이스이면, 사용자가 야외로 나가거나 여행 중일 때 위성 신호를 수신할 수 있다.
·사용자 디바이스가 고정되었거나 가정 또는 빌딩 내에 긴 주기 동안 고정된다면, 사용자 디바이스는 GPS 또는 GLONASS 안테나(예를 들면, 건물 지붕에 설치된 안테나 등)가 설치된 실외에 접속되어야 한다.
연속적인 발표 동안에 단어를 검출하는 시스템 및 방법
음성 인식은 컴퓨터(또는 다른 타입의 시스템 또는 장치)가 발음된 단어를 식별하는 프로세스이다. 기본적으로, 음성 인식 시스템은 발표자가 말하는 것을 정확하게 인식할 수 있는 컴퓨터이다.
음성 인식은 극도로 어려운 작업이다. 기록된 문서와는 다르게, 발음된 단어들 간에 명확한 간격이 존재하지 않는다. 완전한 문장 또는 문장들은 전형적으로 중단없이 발음된다. 또한, 발표 신호에서의 음향적 다양성은 전형적으로 단어 또는 자음(consonants) 및 모음(vowels)의 발음 등과 같은 서브워드 단위(subword units)의 시퀀스에 대한 불확한 매칭을 방해한다. 발표에서 다양성을 발생시키는 주요 원인은 동시 조음(coarticulation), 또는 주어진 어음(speech sound) 또는 단음(phone sound)의 음향적 특성이 생성된 표음적 문맥(phonetic context)에 따라서 달라지는 경향에 기인한다.
음성 인식 시스템은 담화 스타일, 어휘 및 적응된 언어 모델에 따라서 분류될 수 있다. 분리어 인식기(isolated word recognizers)는 발표자가 개별 단어들 사이에 짧은 쉼표를 삽입하는 것을 필요로 한다. 연속 음성 인식기(continuous speech recognizers)는 풍부한 담화에 대해 작동될 수 있지만, 전형적으로 엄격한 언어 모델 또는 문법을 사용하여, 허용 가능한 단어 시퀀스의 개수가 제한된다.
단어 추출기(word spotters)는 특별한 종류의 음성 인식기이다. 이것도 풍부한 담화에 대해 작동될 수 있다. 그러나, 전체적 표기법을 제공하는 것이 아니라, 단어 추출기는 관련된 단어 또는 문장을 선택적으로 탐색한다. 단어 추출은 키워드 인덱싱을 기반으로 정보를 검색하거나 음성 명령 애플리케이션에서 분리어를 인식하는 데 유용하다.
오늘날, 다수의 음성 인식 시스템은 본 발명을 지원하기 위해 요구되는 단어 추출 기능을 제공할 수 있다. 이러한 시스템은 발표 진행 동안 또는 발표에서 발표자에 의해 발음될 수 있는 사전 정의된 단어 또는 문장(하이퍼링크 용어)의 검출을 가능하게 한다. 이러한 음성 인식 시스템은, 예를 들면, 다음의 특허에 개시되어 있다.
"Wordspotting for voice editing and indexing"라는 명칭의 미국 특허 제 5,199,077 호는, HMM(hidden Markov models)을 기반으로 하는 단어 추출 기법에 관해 개시하였다. 이 기법은 발표자가 동적으로 키워드를 지정하게 하고, 키워드의 단일 반복에 의해 연관된 HMM을 트레이닝시킬 수 있게 한다. 비 키워드 발표(non-keyword speech)는 연속적인 발표의 사전 기록된 샘플로 트레이닝되어 있는 HMM을 사용하도록 모델링되어 있다. 이러한 단어 추출기는 음성 메일(voice mail) 또는 혼합형 매체 문서(mixed-media documents)를 편집하는 등의 대화형 애플리케이션 및 단일 발표자 음향 또는 영상 기록에서의 키워드 인덱싱용으로 의도된 것이다.
"Method for word spotting in continuous speech"라는 명칭의 미국 특허 제 5,425,129 호는, 원하는 목록으로부터 단어 또는 문장의 존재에 대한 디지털화된 발표 데이터 채널을 분석하는 시스템 및 방법에 관해 개시하였다. IBM 연속 음성 인식 시스템(IBM Continuous Speech Recognition System : ICSRS)과 관련하여 구현된 본 발명에 따른 시스템 및 방법은, 무관한 표음 데이터가 존재할 때 사전 지정된 단어 또는 문장을 추출하는 서브시스템(subsystem)을 음성 인식 시스템 내에 제공한다.
"Word spotting using both filler and phone recognition"라는 명칭의 미국 특허 제 5,950,159 호는 음향 데이터 내에서 키워드를 확인하는 단어 추출 시스템 및 방법에 관해 개시한다. 이 방법은 필러 인식 단계(filler recognition phase) 및 키워드 인식 단계(keyword recognition phase)를 포함하는데, 필러 인식 단계 동안에 음향 데이터는 단음을 식별하고, 단음에 대한 일시적 구획 문자(temporal delimiters) 및 가능도 스코어(likelihood scores)를 생성하도록 처리되며, 키워드 인식 단계 동안에, 음향 데이터는 단음의 시퀀스를 포함하는 지정된 키워드의 사례를 식별하도록 처리되고, 여기에서 필러 인식 단계에서 생성된 일시적 구획 문자 및 가능도 스코어는 키워드 인식 단계에서 사용된다.
"System and device for advanced voice recognition word spotting"라는 명칭의 미국 특허 제 6,006,185 호는 발표자에 무관한, 연속 발표, 단어 추출 음성 인식 시스템 및 방법에 관해 개시하였다. 발음에서 음소(phonemes)의 경계는 빠르고 정확하게 구분되어야 한다. 발음은 음소의 경계를 기초로 파장 세그먼트(wave segments)로 분리된다. 음성 인식 엔진(voice recognition engine)은 여러 개의 파장 세그먼트에 대해 여러 번 검색하고, 해당 결과를 분석하여 정확하게 발음되는 단어를 식별한다.
"Fast vocabulary independent method and apparatus for spotting words in speech"라는 명칭의 미국 특허 제 6,073,095 호는, 발표문 내에서 단어/단음 시퀀스를 추출하기 위해 사전 처리 단계와 개략-상세 검색 전략(coarse-to-detailed search strategy)을 이용함으로써 발표문 내에서 단어를 추출하는 신속한 어휘 비의존적 방법에 관해 개시하였다.
"System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval"라는 명칭의 미국 특허 제 6,185,527 호는, 후속적인 정보 검색을 위해 음향 스트림을 인덱싱하는 시스템 및 방법에 관해 개시하였다.
"Word-spotting speech recognition device and system"라는 명칭의 미국 특허 제 6,230,126 호는, 인식 객체의 특징을 저장하는 사전을 포함하는 음성 인식 디바이스에 관해 개시하였다. 이 디바이스는 입력된 발표의 특징과 인식 객체의 특징을 비교하는 매칭 장치(matching unit)와, 매칭 장치가 입력된 발표와 인식 객체 중의 하나 사이의 실질적 유사성을 찾았을 때, 입력된 발표를 기초로 하는 사전 내의 음소에 대한 시간 길이를 업데이트하는 사전 업데이트 장치(dictionary updating unit)를 더 포함한다.
음성 인식 시스템의 기본적인 문제점은, 알려지지 않았거나 일반적인 발표 스타일, 어휘, 노이즈 레벨 및 언어 모델에 기초하여, 발표자에 무관하게 연속적인 방식으로 "단어 추출"(즉, 사전 지정된 키워드 또는 용어의 식별)을 수행하는 데 있어서, 최신 기술의 작용을 신뢰할 수 없다는 데 있다. 반면에, 본 발명에서는 사전에 발표자가 자신의 목소리, 자신의 특정한 발음 스타일 및 특정하게 조정된 어휘 및 언어 모델을 이용하여 해당 시스템을 트레이닝시키고 동조시킬 수 있기 때문에, 본 발명에서 필요로 하는 자동 단어 추출 기능은, 구현하기가 비교적 용이하다.
본 발명의 일측면에 따르면, 발표(302) 동안에 발표자(301)에 의해 발음될 사전 선택된 발음(304)(통상적으로는 구어, 용어 또는 문장)으로부터, 웹 상에서의 관련된 해당 데이터(303)로의 하이퍼링크를 생성하고, 상기 하이퍼링크 용어(304)를 식별(단어 추출)하는 음성 인식 시스템(305)을 트레이닝시키는 시스템 및 방법이 개시되어 있다.
본 발명의 다른 측면에 따르면, 생중계 발표 동안에 하이퍼링크 용어(304)가 발표자(301)에 의해 발음될 때, 하이퍼링크 용어(304)를 자동적으로 인식(단어 추출)하고, 네트워크 서버 상에서 인식된 하이퍼링크 용어(304)의 목록, 연관된 네트워크 어드레스(즉, URL)(303) 및 이러한 하이퍼링크 용어의 인식에 대응하는 세계 표준 시각(309)을 포함하는 테이블을 생성하는 시스템 및 방법이 개시되어 있다.
본 발명의 또 다른 측면에 따르면, 발표(302) 진행 동안에, 청중(300)이 하 나 이상의 관심이 가는 주제(313)를 선택(314)하는 것에 해당하는 세계 표준 시각(310)을 청중 디바이스(311)에 기록하는 시스템 및 방법이 개시되어 있다.
본 발명의 다른 측면에 따르면, 청중(300)이 컴퓨터 네트워크에 접속된 서버로부터, 하이퍼링크 용어(304)에 관련된 해당 정보에 액세스하고 검색할 수 있게 하는 시스템 및 방법이 개시되어 있다.
발표 하이퍼링크 테이블을 생성하고 음성 인식 시스템을 하이퍼링크 용어의 어휘로 트레이닝시키는 방법
도 17을 참조하면, 본 발명은 발표 이전에, 발표자(301)에 의해 사용되어 발표(302) 동안에 발표자(301)에 의해 발음될 선택된 발음(304)(통상적으로는 발음된 단어 또는 문장)으로부터 바람직하게는 웹인 컴퓨터 네트워크에 접속된 하나 이상의 서버 상의 관련된 해당 데이터(303)로의 하이퍼링크를 생성하게 하고, 상기 하이퍼링크 용어(304)의 어휘를 가지고 발표에 대한 단어를 추출하도록 음성 인식 시스템(305)을 트레이닝시킬 수 있는 시스템, 방법 및 컴퓨터 프로그램에 관해 개시하였다. 이 방법은,
발표의 생성 또는 편집 동안에,
· 발표문 또는 발표 초안(draft text)(400)을 편집하는 단계(1701)와,
· 발표문(500)에서 하이퍼링크가 반드시 생성되어야 하는 복수의 관련 용어 또는 단어(501)를 선택하고 마킹(marking)하는 단계(1702)와,
· 발표를 위한 발표 하이퍼링크 테이블(600)을 생성하는 단계(1703)와,
· 선택된 용어 또는 단어(501)와, 컴퓨터 네트워크(908)에 접속된 하나 이상의 서버(909) 상에 위치된 멀티미디어 정보 또는 서비스 사이의 하이퍼링크를 발표 하이퍼링크 테이블(600) 내에서 정의하는 단계-상기 단계는 선택된 하이퍼링크 용어 또는 단어(501) 중의 각각에 대하여, 명칭 및/또는 설명(601)(바람직하게는 간단한 설명)을 할당하는 단계(1704)와, 네트워크(908) 내에 목적지 어드레스(602)(예를 들면 URL 등)를 할당하여 원하는 멀티미디어 정보 또는 서비스에 액세스하는 단계(1705)와, 할당된 명칭(또는 설명)(601) 및/또는 목적지 어드레스(602)를 발표 하이퍼링크 테이블(600) 내에 저장하는 단계(1706)를 포함함-와,
발표 하이퍼링크 테이블(600) 내에서 하이퍼링크가 정의되면,
· 발표 동안에 하이퍼링크 용어가 발표자(700)에 의해 발음될 때 이러한 하이퍼링크 용어를 자동적으로 인식하도록, 발표자 워크스테이션(702) 상에서 실행되는 음성 인식 시스템(701)을 하이퍼링크 용어(602, 703)의 어휘로 트레이닝시키는 단계(1707)를 포함한다.
도 4는 회의실에서 수행되거나 라디오 또는 텔레비전에서 방송되는 예시적인 발표(예를 들면, "와인과 건강"이라는 제목의 컨퍼런스 등)의 발표문(400)을 나타낸다. 생중계 발표 동안에, 발표자(301)는 이러한 발표문 전체를 낭독하거나 발표자는 편의상 몇몇 부분의 낭독을 의도적으로 생략하거나, 순서를 바꾸거나, 대체 부분 또는 추가적인 해설을 도입할 수 있다.
도 5는 발표자, 프로그램 편집자(또는 편집을 위탁받은 자)가 발표문(500)을 획득하고 소정의 용어(501)("페놀", "레스베라트롤", "타닌", "엘라직 산(Ellagic acid)", "하이드록시시나메이트(Hydroxycinnamates)", "자유 라디칼(Free radicals)", "안토시아닌(Anthocyanin)", "갈릭 산(Gallic acid)" 등과 같은 단어 또는 문장)를 선택하여 웹 상에서 액세스 가능한 추가적 정보와 연관시키는 방법에 관해 나타내었다. 하이퍼링크 용어로 지칭된 이러한 선택된 용어는 각각, 관련된 정보 또는 서비스를 검색할 수 있게 하는 웹 상의 네트워크 어드레스(즉, 대응하는 URL)에 연관되어야 한다.
도 6은 발표자, 프로그램 편집자(또는 편집을 위탁받은 자)가 발표자 워크스테이션(306) 상에서 각각의 선택된 하이퍼링크 용어(601)(즉, 발표문에서 선택된 단어 또는 문장, 예를 들면 "레스베라트롤" 등)를, 웹(602) 상의 대응하는 URL(예를 들면, http://www.ag.uiuc.edu/~ffh/resvera.html 등)과 연관시키는 발표 하이퍼링크 테이블(600)을 생성하는 것을 나타낸다.
도 7은 발표 이전에, 발표자(700)가 자신의 워크스테이션(702) 상에 설치된 단어 추출 기능을 갖는 음성 인식 시스템(701)을 하이퍼링크 용어(703)(예를 들면, "페놀" "레스베라트롤", "타닌" 등)의 어휘를 가지고 트레이닝시키는 것을 나타낸다. 본 발명의 특정한 실시예에서, 단어 추출 기능은 IBM 비아보이스 소프트웨어 제품(IBM ViaVoice sofware product) 상에서 실행되는 IBM 연속 음성 인식 시스템(ICSRS)을 이용하여 구현되었다.
발표 동안에 하이퍼링크 용어를 인식하고, 발표 서버 상에 발표 하이퍼링크 타임 테이블을 생성하는 방법
도 18에 도시된 바와 같이, 본 발명은 또한 발표자 워크스테이션(802) 내에서 사용되어, 생중계 발표 동안에 발표자(800)에 의해 하이퍼링크 용어(803)가 발음될 때 하이퍼링크 용어(803)를 인식하고, 네트워크(908)에 접속된 발표 서버(907) 상에서, 발표 하이퍼링크 타임 테이블(906)을 생성하며, 인식된 하이퍼링크 용어(304)의 시퀀스(905), 대응하는 네트워크 어드레스(즉, URL)(303) 및 이러한 하이퍼링크 용어가 인식된 세계 표준 시각(309)을 포함하는 기록을 가지고 이 테이블을 업데이트하는 시스템, 방법 및 컴퓨터 프로그램에 관해 개시한다. 보다 구체적으로, 본 방법은,
· 네트워크(908)에 접속된 발표 서버(907) 상에서 발표를 위한 발표 하이퍼링크 타임 테이블(906)을 생성하는 단계(1801)와,
발표 동안에,
· 발표자 워크스테이션(802) 상에서 실행되고, 해당 발표를 위해 용도에 맞게 트레이닝되어 있는 음성 인식 시스템(801)을 이용하여, 발표에 대한 "단어 추출"을 수행함으로써 발표자(800)에 의한 하이퍼링크 용어(803)의 발음을 인식하는 단계(1802)와,
인식된 각각의 하이퍼링크 용어(803)에 대하여,
· 세계 표준 시각 디바이스를 이용하여, 하이퍼링크 용어(903)의 인식에 대응하는 세계 표준 시각(904)을 결정하는 단계(1803)와,
· 하이퍼링크 용어(903)가 인식된 세계 표준 시각(904)과, 발표 하이퍼링크 테이블(600)을 이용하여 인식된 하이퍼링크 용어(803)의 명칭 또는 짧은 설명(601)과, 발표 하이퍼링크 테이블(600)을 이용하여 인식된 하이퍼링크 용어(803)에 대응하는 네트워크 어드레스(1005)(즉, URL)를 포함하는 기록을 생성하는 단계(1804)와,
· 발표자 워크스테이션(902)으로부터 네트워크(908)를 통해 액세스 가능한 발표 서버(907) 상에 저장된 발표 하이퍼링크 타임 테이블(906, 1000) 내에 상기 기록을 저장하는 단계(1805)를 포함한다.
도 8은 발표자(800)가 자신의 발표를 표현하는 동안에, 발표자 워크스테이션(802)에 설치된 음성 인식 시스템(801) 상에서 실행되고(예를 들면, IBM 비아보이스 소프트웨어 제품 상에서 실행되는 IBM 연속 음성 인식 시스템(ICSRS)을 이용하여 구현됨), 사전에 발표자에 의해 트레이닝되어 있는 "단어 추출" 기능은, 음성 스트림으로부터 하이퍼링크 용어(803)를 자동적으로 검출하는 방식을 도시하고 있다.
도 9는 발표자 워크스테이션(902) 상에서 실행되는 음성 인식 시스템(901)을 이용하여 하이퍼링크 용어(903)(예를 들면, "레스베라트롤" 등)를 인식한 후에,
· 하이퍼링크 용어(903)의 인식에 대응하는 세계 표준 시각(904)(예를 들면, 12/05/2001 14:23:18)과,
· 하이퍼링크 용어 명칭 또는 짧은 설명(601)(예를 들면, "레스베라트롤")과,
· 연관된 URL(602)(예를 들면, http://www.ag.uiuc.edu/~ffh/resvera.html) (마지막 2개는 발표 하이퍼링크 테이블(600)로부터 추출됨)을 발표 서버(907) 상에 위치된 발표 하이퍼링크 타임 테이블(906)로 전달(905)하고 저장하는 것을 나타낸다.
도 10은 발표(예를 들면, "와인과 건강"(1001)이라는 주제에 대한 발표)의 끝에 표시된, 발표 서버(907) 상에 저장된 발표 하이퍼링크 타임 테이블(1000)(906)의 일례를 나타낸다. 이 테이블의 헤더는 URL(1002)(http://www.directbuyer.com/conference-0173.htm/) 또는 발표 하이퍼링크 타임 테이블(1000)이 발표 서버(907) 내에 저장되어 있는 네트워크 어드레스(예를 들면, www.directbuyer.com)를 포함한다. 네트워크 내에서 발표 하이퍼링크 타임 테이블(1000)을 찾을 수 있는 URL은, 사전에 청중에게 공지되어 있어야 한다. 이 테이블 내의 각 열은, 발표 동안에 발표자에 의해 발표되고 음성 인식 시스템(901)에 의해 인식된 하이퍼링크 용어(903)에 해당한다. 각각의 열은 제각기,
· 발표 동안에 발음된 하이퍼링크 용어(903)에 대한 음성 인식 시스템(901)의 인식에 대응하는 세계 표준 시각(1003)과,
· 발표 하이퍼링크 테이블(600)로부터 복사되고, 인식된 하이퍼링크 용어(903)에 대한 명칭 및 또는 짧은 설명(601, 1004)과,
· 발표 하이퍼링크 테이블(600)로부터 복사되고, 인식된 하이퍼링크 용어(903)에 대응하는 URL(602, 1005)에 대응한다.
선택 하이퍼링크 타임 테이블을 생성하고 관심이 가는 주제를 선택하는 방법
도 19에 도시된 바와 같이, 본 발명은 또한, 발표 직후 또는 시간이 경과한 후에 주제에 관련된 추가적인 정보를 수신하기 위해서, 청중 디바이스(1102) 상에 선택 하이퍼링크 타임 테이블(1106)을 생성하고, 발표 동안에 청중(1100)이 관심이 가는 주제(1103)를 선택(1104)하는 것에 대응하는 세계 표준 시각(1105)의 시퀀스를 이 테이블 내에 기록하는 시스템, 방법 및 컴퓨터 프로그램에 관해 개시한다. 보다 구체적으로, 청중 디바이스 내에서 사용되는 이 방법은,
· 청중 디바이스(1102) 상에 선택 하이퍼링크 타임 테이블(1200)을 생성하는 단계(1901)와,
· 선택 하이퍼링크 타임 테이블(1200)에, 발표 서버(907) 상에 저장된 발표 하이퍼링크 타임 테이블(906)의 네트워크 어드레스(즉, URL)(1201)를 기록하는 단계(1902)와,
· 발표자(1101)에 의해 발표된 발표(1107)를 청취하는 단계(1903)와,
· 발표 동안에, 추가적인 정보 또는 서비스가 요구되는 관심 대상이 되는 주제(1103)를 인식하는 단계(1904)와,
· 청중 디바이스(1102) 상에서 선택 명령(1104)을 입력하는 것에 의해 이러한 관심 대상이 되는 주제(1103)를 선택하는 단계(1905)와,
· 청중 디바이스에 집적되거나 접속되는 세계 표준 시각 디바이스(예를 들면 GPS 수신기 등)를 이용하여 당시의 세계 표준 시각(1105)을 결정하는 단계(1906)와,
· 선택 하이퍼링크 타임 테이블(1106, 1202) 내에 이러한 당시의 세계 표준 시각(1105)을 기록하는 단계(1907)를 포함한다.
도 11은 발표 동안에, 청중(1100)이 휴대용 청중 디바이스(1102)를 이용하여 독립 모드(stand-alone mode)(즉, 고립되고, 네트워크에 접속되지 않은 모드)로 작동시키는 것을 도시한다. 도 11에 상세하게 설명된 특정한 실시예에 따르면, 발표 동안에 청중(1100)이 관심이 가는 주제(1103)를 인식할 때마다, 청중(1100)은 즉시 청중 디바이스(1102) 상에 마련된(1104)키를 단순히 누르는 것에 의해 이러한 주제를 즉시 선택한다. 청중에 의한 주제 선택에 대응하는 세계 표준 시각(1105)은 청중 디바이스(1102) 상의 선택 하이퍼링크 타임 테이블(1106) 내에 저장된다.
도 12는 발표 동안에 청중 디바이스(1102) 상에 생성된 전형적인 선택 하이퍼링크 타임 테이블(1200)을 도시한다. 이 테이블 내의 각 행은 발표 동안에 청중이 관심이 가는 주제를 선택하는 것에 해당되는 서로 다른 세계 표준 시각에 대응한다. 이 테이블의 헤더는 발표에 대응하는 발표 하이퍼링크 타임 테이블(906, 1000)의 URL(1201)(예를 들면, http://www.directbuyer.com/conference-0173,htm/)을 포함한다. 발표 서버(907)(예를 들면, www.directbuyer.com 등) 상의 발표 하이퍼링크 타임 테이블(906, 1000)은, 발표 동안에 발표자 워크스테이션(902)으로부터 업데이트된다. 앞서 언급된 바와 같이, 발표 서버의 URL은 청중에게 사전에 제공되어 청중이 국부적으로 선택 하이퍼링크 타임 테이블(1200)을 생성할 수 있게 해야 한다.
하이퍼링크를 검색하고 정보에 액세스하는 방법
도 20에 도시된 바와 같이, 본 발명은 또한, 청중이 해당되는 선택(314)을 수행할 때 활성화되는 하이퍼링크 용어(304)와 관련된 해당 데이터 또는 정보를 청중(300)이 웹으로부터 액세스하고 검색할 수 있게 하는 시스템, 방법 및 컴퓨터 프로그램에 관해 개시한다. 보다 구체적으로, 청중 디바이스(1300) 상에서 이용되는 이러한 방법은,
· 발표 서버(1303)에 액세스하는 단계(2001)와,
청중 디바이스(1300) 상에 위치하는 선택 하이퍼링크 타임 테이블(1304, 1200) 내에 기록된 각각의 세계 표준 시각(1202)에 대하여,
· 발표 서버(1303)에 기록된 세계 표준 시각(1306)을 전달하는 단계(2002)와,
· 발표 서버(1303) 상에 위치하는 발표 하이퍼링크 타임 테이블(1302, 1000) 내에서, 상기 세계 표준 시각(1306)과 연관된 하이퍼링크 용어(1004)(해당 세계 표준 시각에 활성화된 하이퍼링크 용어)를 식별하는 단계(2003)와,
· 발표 서버(1303) 내에 위치된 발표 하이퍼링크 타임 테이블(1302, 1000)에서, 선택된 하이퍼링크 용어의 명칭(또는 설명)(1004) 및 목적지 어드레스(URL)(1005, 1307)를 검색하는 단계(2004)와,
· 검색된 하이퍼링크 명칭 및 목적지 어드레스(URL)(1307)를 청중 디바이스(1300) 상에 위치된 선택 하이퍼링크 타임 테이블(1304, 1402) 내에 저장하는 단계(2005)와,
· 선택 하이퍼링크 타임 테이블(1502) 내에서, 발표 서버(1507)로부터 검색된 하이퍼링크 명칭(또는 설명) 또는 연관된 목적지 어드레스를 이용하여 하이퍼링크(1501)를 선택하는 단계(2006)와,
· 청중 디바이스(1500) 상에서 실행되는 브라우저 프로그램을 이용하여 상기 하이퍼링크(1501)를 활성화시키는 단계(2007)와,
· 선택된 하이퍼링크(1501)와 연관되는 검색된 목적지 어드레스(1503, 1504)를 이용하여 네트워크(1505)에 접속된 서버(1506) 상에 위치된 정보 및/또는 서비스에 액세스하는 단계(2008)와,
· 네트워크(1602) 상의 액세스된 서버(1603)로부터 정보 및/또는 서비스(1604, 1601)를 검색하는 단계(2009)와,
· 브라우저 프로그램을 이용하여, 검색된 정보 및/또는 서비스(1604)를 청중 디바이스(1600) 상에 디스플레이하는 단계를 포함한다.
도 13은 청중(1100)의 휴대용 디바이스(1300)를 통신 네트워크(1301)(예를 들면, 인터넷 네트워크)에 접속시키고, 발표 서버(1303) 상의 발표 하이퍼링크 타임 테이블(1302)에 액세스함으로써, 청중 디바이스(1300)의 선택 하이퍼링크 타임 테이블(1304) 상의 정보를 업데이트하는 것을 도시한다.
도 14는 발표 서버(1303) 상의 발표 하이퍼링크 타임 테이블(1401, 1302)을 이용하여 청중 디바이스(1300) 상의 선택 하이퍼링크 타임 테이블(1400)을 업데이트하는 프로세스를 상세히 나타낸다. 기본적으로, 이 프로세스를 이용하여, 청중이 관심이 가는 주제를 선택한 세계 표준 시각(1403)에 활성화된 하이퍼링크 용어( 또는 짧은 명칭 및/또는 짧은 설명) 및 하이퍼링크 용어의 URL은, 발표 서버(1303) 상에 위치된 발표 하이퍼링크 타임 테이블(1401) 내에서 식별되고, 청중 디바이스(1300) 상에 위치된 선택 하이퍼링크 타임 테이블(1402) 내에 복사된다.
도 15는 청중 디바이스(1500)로부터 발표 동안에 청중이 선택한 주제에 대해 하이퍼링크된 웹 페이지를 선택하고 해당 웹 페이지로의 액세스를 획득하는 것을 도시한다. 기본적으로, 청중은 업데이트된 선택 하이퍼링크 타임 테이블(1502) 상에서 하이퍼링크 용어(1501)를 가리키고 선택하며, 청중 디바이스(1500) 상의 소프트웨어를 이용하여, 웹 브라우저를 활성화하고, 선택된 항목(1501)의 URL(1503)에 대한 하이퍼링크를 트리거(trigger)한다. 이 도면에 도시된 예에서, 청중은 "엘라직 산"이라는 하이퍼링크 용어(사실상, 와인 내에서 발견되는 화학적 화합물임)를 선택하고, URL(1504), 즉 http://www.hopeforcancer.com/ellagicacid.htm을 가리키는 하이퍼링크를 트리거한다.
도 16은 선택된 하이퍼링크 용어(1501)(예를 들면, "엘라직 산" 등)와 연관된 웹 페이지(1601)(예를 들면, ellagicacid.htm의 문서 등)가, 액세스된 웹 서버(1603)(예를 들면, http://www.hopeforcancer.com)로부터 네트워크(1602)를 통해 수신되고, 청중 디바이스(1600) 상에서 디스플레이(1604) 또는 재생되는 것을 도시한다.
본 발명은 바람직한 실시예를 참조하여 특히 도시되고 설명되어 있으나, 본 발명의 정신 및 범주를 벗어나지 않으면서 해당 실시예의 형태 및 세부 사항에 대한 여러 변형예가 존재할 수 있다는 것을 이해할 수 있을 것이다.

Claims (20)

  1. 절대 시각(absolute time)을 제공하는 세계 표준시(universal time) 시스템과 관련하여 발표 하이퍼링크 타임 테이블(Speech Hyperlink-Time table)을 생성하는 방법으로서,
    복수의 개체를 포함하는 발표 하이퍼링크 테이블을 제공하는 단계 -상기 복수의 개체 각각은 하이퍼링크 용어(a hyperlinked term) 및 네트워크의 대응하는 네트워크 어드레스를 포함하고, 상기 네트워크 어드레스는 상기 하이퍼링크 용어에 관련된 정보에 상기 하이퍼링크 용어를 연결하며, 상기 정보는 상기 네트워크의 서버 상에 존재함- 와,
    발표자가 발표하는 동안, 발표자에 의해 발음되는 상기 발표 하이퍼링크 테이블의 각각의 하이퍼링크 용어를 인식하는 단계 -상기 인식 단계는 컴퓨팅 디바이스 상의 음성 인식 시스템에 의해 수행됨- 와,
    각각의 인식된 하이퍼링크 용어에 대하여,
    상기 하이퍼링크 용어가 인식되었던 세계 표준시를 결정하는 단계와,
    상기 발표 하이퍼링크 테이블로부터 상기 인식된 하이퍼링크 용어에 대응하는 네트워크 어드레스를 확인하는 단계와,
    상기 발표 하이퍼링크 타임 테이블에 상기 세계 표준시, 상기 인식된 하이퍼링크 용어 및 상기 인식된 하이퍼링크 용어에 대응하는 상기 네트워크 어드레스를 포함하는 기록을 생성하는 단계를 포함하는
    발표 하이퍼링크 타임 테이블 생성 방법.
  2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서,
    상기 세계 표준시 시스템은 GPS(Global Positioning System) 시각 시스템, 협정 세계시(UTC time:Universal Time Co-ordinated time) 시스템, 그리니치 표준시(GMT:Greenwich Mean Time) 시스템 및 GPS 위성의 자유 구동 원자 시계로부터 유도된 시각 시스템으로 이루어진 그룹으로부터 하나가 선택되는
    발표 하이퍼링크 타임 테이블 생성 방법.
  3. 제 1 항에 있어서,
    상기 세계 표준시를 결정하는 단계는 GPS 수신기에 의해 상기 세계 표준시를 결정하는 단계를 포함하는
    발표 하이퍼링크 타임 테이블 생성 방법.
  4. 제 1 항에 있어서,
    상기 발표 하이퍼링크 테이블을 제공하는 단계는,
    발표문으로부터 상기 하이퍼링크 용어를 선택하는 단계와,
    각각의 선택된 하이퍼링크 용어에 대하여,
    상기 선택된 하이퍼링크 용어에 대응하는 네트워크 어드레스를 식별하고, 상기 선택된 하이퍼링크 용어 및 식별된 대응하는 네트워크 어드레스를 포함하는 개체를 상기 발표 하이퍼링크 테이블에 저장하는 단계를 포함하는
    발표 하이퍼링크 타임 테이블 생성 방법.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서,
    상기 네트워크는 인터넷이고, 상기 네트워크 어드레스는 URL(Universal Resource Locator)이며, 상기 정보는 웹 페이지(web page)이고, 상기 서버는 웹 서버(web server)인
    발표 하이퍼링크 타임 테이블 생성 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 인식 단계 이전에, 상기 발표 동안 상기 하이퍼링크 용어가 발음될 때 상기 하이퍼링크 용어를 인식하도록 상기 음성 인식 시스템을 트레이닝시키는 단계를 더 포함하는
    발표 하이퍼링크 타임 테이블 생성 방법.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서,
    상기 발표는 라디오 프로그램 또는 텔레비전 프로그램에 포함되는
    발표 하이퍼링크 타임 테이블 생성 방법.
  9. 제 1 항에 있어서,
    상기 결정, 확인 및 생성 단계는 상기 컴퓨팅 디바이스에서 실행되는 명령어 코드로 이루어지는 컴퓨터 프로그램이 실행되는
    발표 하이퍼링크 타임 테이블 생성 방법.
  10. 삭제
  11. 삭제
  12. 절대 시각을 제공하는 세계 표준시 시스템에 관련하여 발표를 처리하는 방법으로서,
    청중 디바이스(an auditor device) 상에 적어도 하나의 선택 명령을 입력하는 단계 -상기 청중 디바이스는 컴퓨팅 디바이스이고, 각 선택 명령은 상기 발표시에 발음된 하이퍼링크 용어에 실시간 응답하여 입력되며, 각 발음된 하이퍼링크 용어는 발표 서버에 포함된 발표 하이퍼링크 타임 테이블의 복수의 기록 중 하나의 기록에 나타나고, 상기 발표 하이퍼링크 타임 테이블의 각 기록은 상기 발표의 하이퍼링크 용어와 상기 발표 동안 상기 하이퍼링크 용어가 발음되었던 세계 표준시 및 상기 하이퍼링크 용어에 관련된 정보에 상기 하이퍼링크 용어를 연결하는 네트워크 어드레스를 포함하며, 상기 정보는 네트워크의 서버 상에 존재함- 와,
    입력되는 각 선택 명령에 대하여, 상기 선택 명령이 입력되었던 세계 표준시를 결정하고, 상기 청중 디바이스에 포함된 선택 하이퍼링크 타임 테이블(a selections Hyperlink-Time table)의 기록에 상기 결정된 세계 표준시를 기록하는 단계를 포함하는
    발표 처리 방법.
  13. 제 12 항에 있어서,
    상기 청중 디바이스는 상기 네트워크를 통해 상기 발표 서버에 결합되고,
    상기 선택 하이퍼링크 타임 테이블로부터 적어도 하나의 세계 표준시를 선택하는 단계와,
    각각의 선택된 세계 표준시에 대하여,
    상기 발표 서버에 상기 선택된 세계 표준시를 전달하는 단계와,
    상기 발표 서버로부터 상기 발표 하이퍼링크 타임 테이블의 기록에 나타나는 하이퍼링크 용어 및 관련된 네트워크 어드레스를 수신하는 단계 -상기 발표 하이퍼링크 타임 테이블에 포함된 세계 표준시는 상기 선택된 세계 표준시와 가장 가깝고 상기 선택된 세계 표준시를 초과하지 않음- 와,
    상기 선택된 세계 표준시를 포함하는 상기 선택 하이퍼링크 타임 테이블에 상기 수신된 하이퍼링크 용어 및 관련된 네트워크 어드레스를 저장하는 단계를 더 포함하는
    발표 처리 방법.
  14. 제 13 항에 있어서,
    상기 선택 하이퍼링크 타임 테이블의 기록을 선택하는 단계와,
    상기 선택된 기록 내의 네트워크 어드레스를 사용하여 상기 선택된 기록 내의 하이퍼링크 용어에 관련된 정보에 연결하는 단계와,
    상기 정보를 포함하는 상기 네트워크의 서버로부터 상기 정보를 검색하는 단계와,
    상기 청중 디바이스 상에 상기 검색된 정보를 디스플레이하는 단계를 더 포함하는
    발표 처리 방법.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제 12 항에 있어서,
    상기 세계 표준시 시스템은 GPS 시각 시스템, 협정 세계시(UTC) 시스템, 그리니치 표준시(GMT) 시스템 및 GPS 위성의 자유 구동 원자 시계로부터 유도된 시각 시스템으로 이루어진 그룹으로부터 하나가 선택되는
    발표 처리 방법.
  16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.
    제 12 항에 있어서,
    상기 세계 표준시를 결정하는 단계는 상기 청중 디바이스에서의 GPS 수신기에 의해 상기 세계 표준시를 결정하는 단계를 포함하는
    발표 처리 방법.
  17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.
    제 12 항에 있어서,
    상기 청중 디바이스는 워크스테이션, 휴대용 컴퓨터, PDA, 스마트폰 및 기타 유형의 휴대용 컴퓨팅 디바이스로 이루어진 그룹으로부터 선택되는
    발표 처리 방법.
  18. 삭제
  19. 절대 시각을 제공하는 세계 표준시 시스템에 관련하여 발표를 처리하는 청중 디바이스를 포함하되,
    상기 청중 디바이스는 내부에 컴퓨터 프로그램을 구비한 컴퓨팅 디바이스이고, 제 12 항 내지 제 17 항 중 어느 한 항의 방법을 구현하는 명령어 코드로 이루어지는 상기 컴퓨터 프로그램이 실행되는
    컴퓨팅 시스템.
  20. 실행되는 경우 제 1 항 또는 제 12 항의 방법을 수행하는 명령어 코드로 이루어지는 컴퓨터 프로그램이 기록된
    컴퓨터 판독가능한 기록 매체.
KR1020057003143A 2002-09-27 2003-07-23 발표 하이퍼링크 타임 테이블 생성 방법, 발표 처리 방법, 컴퓨팅 시스템 및 컴퓨터 판독가능한 기록 매체 Expired - Fee Related KR100872191B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02368106 2002-09-27
EP02368106.7 2002-09-27

Publications (2)

Publication Number Publication Date
KR20050047104A KR20050047104A (ko) 2005-05-19
KR100872191B1 true KR100872191B1 (ko) 2008-12-09

Family

ID=32039252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057003143A Expired - Fee Related KR100872191B1 (ko) 2002-09-27 2003-07-23 발표 하이퍼링크 타임 테이블 생성 방법, 발표 처리 방법, 컴퓨팅 시스템 및 컴퓨터 판독가능한 기록 매체

Country Status (7)

Country Link
US (2) US7505907B2 (ko)
JP (1) JP4378284B2 (ko)
KR (1) KR100872191B1 (ko)
CN (1) CN100530175C (ko)
AU (1) AU2003267006A1 (ko)
TW (1) TWI259970B (ko)
WO (1) WO2004029831A2 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225335B2 (en) 2005-01-05 2012-07-17 Microsoft Corporation Processing files from a mobile device
US7721301B2 (en) * 2005-03-31 2010-05-18 Microsoft Corporation Processing files from a mobile device using voice commands
US7606856B2 (en) 2005-11-09 2009-10-20 Scenera Technologies, Llc Methods, systems, and computer program products for presenting topical information referenced during a communication
US20080034095A1 (en) 2006-08-01 2008-02-07 Motorola, Inc. Multi-representation media event handoff
US8271268B2 (en) * 2007-04-18 2012-09-18 Nuance Communications, Inc. Method to translate, cache and transmit text-based information contained in an audio signal
US8645143B2 (en) * 2007-05-01 2014-02-04 Sensory, Inc. Systems and methods of performing speech recognition using global positioning (GPS) information
US8775454B2 (en) 2008-07-29 2014-07-08 James L. Geer Phone assisted ‘photographic memory’
US9128981B1 (en) 2008-07-29 2015-09-08 James L. Geer Phone assisted ‘photographic memory’
FR2935855B1 (fr) 2008-09-11 2010-09-17 Alcatel Lucent Procede et systeme de communication pour la determination d'une sequence de services lies a une conversation.
FR2935854B1 (fr) * 2008-09-11 2011-02-18 Alcatel Lucent Procede et systeme de communication pour l'affichage d'un lien vers un service a partir d'une expression enoncee en cours de conversation.
GB2466242B (en) * 2008-12-15 2013-01-02 Audio Analytic Ltd Sound identification systems
US8639514B2 (en) * 2008-12-18 2014-01-28 At&T Intellectual Property I, L.P. Method and apparatus for accessing information identified from a broadcast audio signal
JP4565040B2 (ja) 2009-03-27 2010-10-20 白石工業株式会社 表面処理炭酸カルシウム及びそれを含むペースト状樹脂組成物
US8255787B2 (en) 2009-06-29 2012-08-28 International Business Machines Corporation Automated configuration of location-specific page anchors
US8244755B2 (en) * 2009-06-29 2012-08-14 International Business Machines Corporation Search engine optimization using page anchors
US20110218802A1 (en) * 2010-03-08 2011-09-08 Shlomi Hai Bouganim Continuous Speech Recognition
US20120278078A1 (en) * 2011-04-26 2012-11-01 Avaya Inc. Input and displayed information definition based on automatic speech recognition during a communication session
US8589167B2 (en) 2011-05-11 2013-11-19 Nuance Communications, Inc. Speaker liveness detection
US9443518B1 (en) 2011-08-31 2016-09-13 Google Inc. Text transcript generation from a communication session
US9007448B2 (en) * 2012-02-03 2015-04-14 Bank Of America Corporation Video-assisted customer experience
KR102081925B1 (ko) 2012-08-29 2020-02-26 엘지전자 주식회사 디스플레이 디바이스 및 스피치 검색 방법
US8612211B1 (en) 2012-09-10 2013-12-17 Google Inc. Speech recognition and summarization
TW201445340A (zh) * 2013-05-17 2014-12-01 Hon Hai Prec Ind Co Ltd 資訊搜索系統及方法
US9390708B1 (en) * 2013-05-28 2016-07-12 Amazon Technologies, Inc. Low latency and memory efficient keywork spotting
JP6099046B2 (ja) 2013-06-11 2017-03-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 文を検索する装置および方法
JP7044633B2 (ja) * 2017-12-28 2022-03-30 シャープ株式会社 操作支援装置、操作支援システム、及び操作支援方法
US11037571B2 (en) * 2019-10-04 2021-06-15 Motorola Solutions, Inc. Speech-based two-way radio assistant
US11783817B2 (en) 2021-05-28 2023-10-10 International Business Machines Corporation Identification of anomalies in air traffic control communications
US20230274730A1 (en) * 2021-06-02 2023-08-31 Kudo, Inc. Systems and methods for real time suggestion bot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039400A2 (en) * 1999-03-25 2000-09-27 Sony Corporation Searching a data base
US20020007354A1 (en) 2000-07-14 2002-01-17 Sony Corporation Method and system for identifying a time specific event

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715367A (en) 1995-01-23 1998-02-03 Dragon Systems, Inc. Apparatuses and methods for developing and using models for speech recognition
US5799063A (en) 1996-08-15 1998-08-25 Talk Web Inc. Communication system and method of providing access to pre-recorded audio messages via the Internet
JPH10133847A (ja) 1996-10-28 1998-05-22 Casio Comput Co Ltd 移動端末音声認識／データベース検索／リソースアクセス通信システム
US5915001A (en) 1996-11-14 1999-06-22 Vois Corporation System and method for providing and using universally accessible voice and speech data files
US6282511B1 (en) * 1996-12-04 2001-08-28 At&T Voiced interface with hyperlinked information
US6018710A (en) 1996-12-13 2000-01-25 Siemens Corporate Research, Inc. Web-based interactive radio environment: WIRE
US6224636B1 (en) * 1997-02-28 2001-05-01 Dragon Systems, Inc. Speech recognition using nonparametric speech models
US5946653A (en) 1997-10-01 1999-08-31 Motorola, Inc. Speaker independent speech recognition system and method
US6157705A (en) 1997-12-05 2000-12-05 E*Trade Group, Inc. Voice control of a server
US6282512B1 (en) * 1998-02-05 2001-08-28 Texas Instruments Incorporated Enhancement of markup language pages to support spoken queries
US6269335B1 (en) * 1998-08-14 2001-07-31 International Business Machines Corporation Apparatus and methods for identifying homophones among words in a speech recognition system
JP3252282B2 (ja) 1998-12-17 2002-02-04 松下電器産業株式会社 シーンを検索する方法及びその装置
US6249765B1 (en) * 1998-12-22 2001-06-19 Xerox Corporation System and method for extracting data from audio messages
JP2003524824A (ja) * 1999-07-02 2003-08-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｕｒｌ上のハイパーリンクのユーザプロファイル指向マッピング
EP1102271B8 (en) * 1999-11-05 2016-12-07 Sony Europe Limited Method of generating audio and/or video signals and apparatus therefore
JP2003514261A (ja) * 1999-11-09 2003-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インターネットページのハイパーリンクを作動させる音声認識方法
EP1986436A3 (en) * 2000-04-05 2010-10-27 Sony United Kingdom Limited Audio and/or video generation apparatus and method of generating audio and /or video signals
EP1947648B1 (en) * 2000-04-05 2019-05-08 Sony United Kingdom Limited Video processing apparatus and method
CN1269557A (zh) * 2000-05-18 2000-10-11 王广武 一种信息查询方法
US20050193425A1 (en) * 2000-07-24 2005-09-01 Sanghoon Sull Delivery and presentation of content-relevant information associated with frames of audio-visual programs
US20050204385A1 (en) * 2000-07-24 2005-09-15 Vivcom, Inc. Processing and presentation of infomercials for audio-visual programs
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
JP2002077865A (ja) 2000-08-24 2002-03-15 Sanyo Electric Co Ltd アドレス情報検出装置
JP2002157112A (ja) 2000-11-20 2002-05-31 Teac Corp 音声情報変換装置
TW540235B (en) 2001-05-10 2003-07-01 Ibm System and method for enhancing broadcast programs with information on the world wide web
TWI256250B (en) 2001-05-10 2006-06-01 Ibm System and method for enhancing recorded radio or television programs with information on the world wide web
US6858353B2 (en) 2002-07-17 2005-02-22 Taiwan Semiconductor Manufacturing Co., Ltd Increased-contrast film for high-transmittance attenuated phase-shaft masks
US7526718B2 (en) * 2003-04-30 2009-04-28 Hewlett-Packard Development Company, L.P. Apparatus and method for recording “path-enhanced” multimedia

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039400A2 (en) * 1999-03-25 2000-09-27 Sony Corporation Searching a data base
JP2000339345A (ja) 1999-03-25 2000-12-08 Sony Corp 検索システム、検索装置および方法、ならびに、入力装置および方法
US20020007354A1 (en) 2000-07-14 2002-01-17 Sony Corporation Method and system for identifying a time specific event

Also Published As

Publication number Publication date
US7505907B2 (en) 2009-03-17
TWI259970B (en) 2006-08-11
US20050251394A1 (en) 2005-11-10
TW200414021A (en) 2004-08-01
AU2003267006A1 (en) 2004-04-19
JP2006500665A (ja) 2006-01-05
WO2004029831A3 (en) 2004-09-10
US20090228275A1 (en) 2009-09-10
WO2004029831A2 (en) 2004-04-08
CN1685339A (zh) 2005-10-19
JP4378284B2 (ja) 2009-12-02
KR20050047104A (ko) 2005-05-19
CN100530175C (zh) 2009-08-19
US7865367B2 (en) 2011-01-04

Similar Documents

Publication Publication Date Title
KR100872191B1 (ko) 발표 하이퍼링크 타임 테이블 생성 방법, 발표 처리 방법, 컴퓨팅 시스템 및 컴퓨터 판독가능한 기록 매체
Hauptmann et al. Informedia: News-on-demand multimedia information acquisition and retrieval
US8374845B2 (en) Retrieving apparatus, retrieving method, and computer program product
US7206303B2 (en) Time ordered indexing of an information stream
US7292979B2 (en) Time ordered indexing of audio data
CN1524382B (zh) 用于以万维网上的信息增强播放或记录的节目的系统和方法
US6260011B1 (en) Methods and apparatus for automatically synchronizing electronic audio files with electronic text files
KR100617341B1 (ko) 월드 와이드 웹 상의 정보로 방송 프로그램을 향상시키는시스템 및 방법
US8311823B2 (en) System and method for searching based on audio search criteria
Van Thong et al. Speechbot: an experimental speech-based search engine for multimedia content on the web
US9245017B2 (en) Metatagging of captions
US20080059170A1 (en) System and method for searching based on audio search criteria
US20150208139A1 (en) Caption Extraction and Analysis
JP2005512233A (ja) 映像プログラムにおいて人物に関する情報を検索するためのシステムおよび方法
US20110213773A1 (en) Information processing apparatus, keyword registration method, and program
Roy et al. Speaker identification based text to audio alignment for an audio retrieval system
JP2004302175A (ja) 音声認識システム、音声認識方法及び音声認識プログラム
KR101783872B1 (ko) 동영상 검색 시스템 및 방법
KR100659448B1 (ko) 프리젠테이션 타임 테이블 생성 방법, 포일 선택 및 액세스 방법, 발표자 장치, 청중 장치 및 컴퓨터 판독 가능 기록 매체
JPWO2009066397A1 (ja) 検索装置及び検索システム

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20111129

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20111129

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000