[go: up one dir, main page]

KR101396413B1 - 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법 - Google Patents

디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법 Download PDF

Info

Publication number
KR101396413B1
KR101396413B1 KR1020130051307A KR20130051307A KR101396413B1 KR 101396413 B1 KR101396413 B1 KR 101396413B1 KR 1020130051307 A KR1020130051307 A KR 1020130051307A KR 20130051307 A KR20130051307 A KR 20130051307A KR 101396413 B1 KR101396413 B1 KR 101396413B1
Authority
KR
South Korea
Prior art keywords
fingerprint
database
broadcast
program
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130051307A
Other languages
English (en)
Other versions
KR20130124911A (ko
Inventor
신동환
김경순
정신영
Original Assignee
주식회사 마크애니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마크애니 filed Critical 주식회사 마크애니
Publication of KR20130124911A publication Critical patent/KR20130124911A/ko
Application granted granted Critical
Publication of KR101396413B1 publication Critical patent/KR101396413B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 핑거프린트를 통한 정보 제공 시스템은 방송 데이터의 특징점을 추출하여 검색에 사용할 수 있도록 데이터베이스를 구축하는 핑거프린트 인덱싱부, 클라이언트 디바이스로부터 프로그램 인식 요청을 수신하여 핑거프린트 매칭부로 전송하고, 상기 프로그램 인식 요청과 관련된 검색 결과를 상기 핑거프린트 매칭부로부터 수신하여 상기 클라이언트 디바이스로 전송하는 핑거프린트 웹 서버 및 상기 프로그램 인식 요청을 기반으로 상기 핑거프린트 인덱싱부를 이용하여 검색을 수행하고, 상기 검색 결과를 추출하여 상기 핑거프린트 웹 서버로 전송하는 핑거프린트 매칭부를 포함한다.

Description

디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법{INFORMATION PROVIDING SYSTEM AND METHOD USING DIGITAL FINGERPRINTING}
본 발명은 정보 제공 시스템 및 방법에 관한 것으로, 보다 상세하게는 디지털 핑거프린팅을 이용하는 정보 제공 시스템 및 방법에 관한 것이다.
디지털 핑거프린팅 기술은 오디오, 이미지 및 비디오와 같은 멀티미디어 콘텐츠로부터 고유한 특징값(DNA)을 추출하여 서버에 데이터베이스를 미리 구축하고 이 후 사용자들이 스마트기기(스마트폰, 스마트 패드 등)나 PC에서 식별하고자 하는 멀티미디어 콘텐츠를 획득하여 클라이언트 단에서 해당하는 특징값을 추출한다. 이때 추출된 특징값과 서버에 구축된 데이터베이스에 등록된 특징값들을 비교하여 일치되는 콘텐츠 특징값을 발견하면 현재 사용자가 획득한 콘텐츠가 무엇인지를 인식할 수 있고 이와 관련된 정보를 사용자 단말기에 제공하는 서비스 용도로 많이 사용되고 있다.
또한 이런 특징값 기반의 핑거프린팅 기술은 저작권보호기술로서 P2P, 웹하드와 같은 특수한 유형의 OSP(Online Service Provider)의 불법 콘텐츠 유통을 감시하고 제한하는데 활용되고 있다.
디지털 핑거프린팅 기술을 이용한 콘텐츠 식별 서비스 플랫폼을 구성함에 있어 서비스시 빠른 검색을 지원하기 위해 콘텐츠의 고유한 식별 정보인 특징값(DNA)을 추출하여 데이터베이스에 인덱싱하고 구조화하여 등록하는 과정에 시간 소모적인 부분이 존재한다. 이는 디지털 핑거프린팅 기술을 이용한 콘텐츠 식별서비스 시스템이 빠른 검색을 우선적인 성능지표로 삼고 있기 때문이다.
이런 특성은 파일 기반의 일반적인 응용에서는 식별 정보를 등록하는데 충분한 여유 시간을 할당받을 수 있어 크게 문제가 되지 않으나, 지상파와 같은 실시간(On-Air) 방송환경에 적용할 경우에는 기존 방송시스템 흐름에 영향을 미치게 된다. 단적인 예로 음악 프로그램이나 스포츠 중계와 같은 생방송 진행의 경우를 생각해보면, 방송국에서 방송 송출 후 가정 내 TV 수신장치에서 시청자가 시청하는 데까지 걸리는 시간 및 지연은 가장 빠른 경우 약 0.5 ~ 1초 정도로 파악되고 있다. 방송국의 프로그램을 IPTV/CableTV, DMB 또는 웹을 통해 중계 및 재전송하는 경우는 이보다 훨씬 더 지연이 존재하나, 보편적으로 지상파에서와 같이 방송국에서 송출된 방송물이 시청자에게 도달하는데 걸리는 시간은 대략 1초 내외라고 할 수 있다.
이런 방송 환경에서 해당 방송물 또는 프로그램에 대해 방송 송출 시 식별정보를 등록하고 시청자에게 식별서비스를 제공하기 위해서는 최대 허용할 수 있는 일정 지연 시간(방송 지연 시간+식별 기술 버퍼링 시간) 내에 서비스 준비 상태가 되어야 한다.
실제로 이런 시간적인 제약사항이 식별서비스 시스템 구축과 서비스 적용을 방송 환경과 방송 콘텐츠에 적용하는 걸림돌이 되고 있는데, 만약 일정 지연 시간 내에 서비스 대기 상태가 될 수 없다면 서비스를 포기하거나 아니면 식별 서비스 시스템에서 서비스 대기 상태로 준비가 될 수 있는 충분한 시간을 확보할 수 있도록 방송 송출에 지연(Delay)시켜 주어야 한다는 문제점을 안고 있다.
현재 운행중인 방송 시스템을 변경하여 온 에어 방송 전에 시스템 지연 요소가 발생하기 때문에 만약 축구경기와 같은 운동경기를 라이브(live) 방송하는 경우 단 1초의 지연이 소비자들한테는 많은 불편함이 발생할 수 있다. 다른 방송국에서는 라이브 방송으로 골 넣는 것을 알 수 있는데 1초 지난 후에 골 넣는 것을 방송한다는 것은 기존 방송사입장에서도 받아들이기 어려운 상황이다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 실방송(On-Air) 방송 환경에 방송 프로그램 식별 서비스를 적용함에 있어 기존 방송 시스템 흐름에 영향을 미치지 않도록 방송 송출을 지연시킴 없이 실시간으로 식별 정보를 등록하고 시청자에게 식별 서비스가 가능하도록 하는 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 식별 서비스 시스템의 검색 효율성 및 시스템 안정성을 높이고 비용 절감을 달성할 수 있는 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 핑거프린트를 통한 정보 제공 시스템은 방송 데이터의 특징점을 추출하여 검색에 사용할 수 있도록 데이터베이스를 구축하는 핑거프린트 인덱싱부, 클라이언트 디바이스로부터 프로그램 인식 요청을 수신하여 핑거프린트 매칭부로 전송하고, 상기 프로그램 인식 요청과 관련된 검색 결과를 상기 핑거프린트 매칭부로부터 수신하여 상기 클라이언트 디바이스로 전송하는 핑거프린트 웹 서버 및 상기 프로그램 인식 요청을 기반으로 상기 핑거프린트 인덱싱부를 이용하여 검색을 수행하고, 상기 검색 결과를 추출하여 상기 핑거프린트 웹 서버로 전송하는 핑거프린트 매칭부를 포함할 수 있다.
상기 핑거프린트 인덱싱부는 상기 방송 데이터로부터 특징점을 추출하여 상기 추출된 특징점과 관련된 데이터를 데이터베이스에 저장하는 등록부 및 상기 특징점 관련 데이터를 저장하는 데이터베이스를 포함하되, 상기 데이터베이스는 상기 특징점 관련 데이터를 메모리에 상주시켜 특정 프로그램에 대한 특징점 관련 데이터를 연속으로 보관하는 메모리 버퍼 데이터베이스 및 상기 특징점 관련 데이터를 시스템적으로 여러 대의 데이터베이스로 분산하여 저장하는 핑거프린트 분산 데이터베이스를 포함할 수 있다.
상기 메모리 버퍼 데이터베이스는 RAM(Random Access Memory)에 구성될 수 있다.
상기 등록부는 상기 특징점 관련 데이터를 동시에 상기 메모리 버퍼 데이터베이스 및 상기 핑거프린트 분산 데이터베이스에 저장할 수 있다.
상기 핑거프린트 매칭부는 실시간 방송 데이터를 수신하는 클라이언트 디바이스의 프로그램 인식 요청에 대응하여 상기 메모리 버퍼 데이터베이스를 이용하여 검색을 수행하고, 실시간 방송 이후의 서비스와 관련된 프로그램 인식 요청에 대응하여 상기 핑거프린트 분산 데이터베이스를 이용하여 검색을 수행할 수 있다.
상기 핑거프린트 웹 서버는 상기 검색 결과를 기반으로 상기 검색 결과와 관련된 부가 정보를 핑거프린트 서비스 데이터베이스로부터 추출하여 상기 클라이언트 디바이스로 제공할 수 있다.
상기 정보 제공 시스템은 상기 부가 정보를 제공하기 위해, 방송 편성 정보 및 콘텐츠 메타 데이터를 이용하여 특정 프로그램에 따른 서비스 웹 페이지를 생성하고, 방송 정보를 기반으로 연동될 상기 웹 페이지를 정하는 서비스 정보를 생성하여 상기 핑거프린트 서비스 데이터베이스에 저장하는 핑거프린트 서비스 매니저를 더 포함할 수 있다.
상기 핑거프린트 인덱싱부는 상기 프로그램 인식 요청을 기반으로 특정 프로그램 내의 특정 방송 시점에 대해 발생되는 쿼리 패턴을 분석하는 쿼리 분석부를 더 포함할 수 있다.
상기 핑거프린트 인덱싱부는 동일 프로그램에 대한 특정 방송 시점에 대해 발생되는 쿼리가 임계치보다 많은지 판단하는 판단부 및 상기 판단 결과를 기반으로, 임계치보다 많이 발생되는 특정 시점 쿼리에 대응하여 상기 핑거프린트 분산 데이터베이스 내의 특징점 관련 정보를 상기 메모리 버퍼로 동적 로딩하도록 제어하는 제어부를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 핑거프린트를 통한 정보 제공 방법은 핑거프린트 웹 서버가 클라이언트 디바이스로부터 프로그램 인식 요청을 수신하여 상기 핑거프린트 매칭부로 전송하는 단계, 핑거프린트 인덱싱부가 방송 데이터의 특징점을 추출하여 검색에 사용할 수 있도록 데이터베이스를 구축하는 단계, 상기 핑거프린트 매칭부가 상기 프로그램 인식 요청을 기반으로 상기 핑거프린트 인덱싱부를 이용하여 검색을 수행하는 단계, 상기 핑거프린트 매칭부가 상기 검색 결과를 추출하여 상기 핑거프린트 웹 서버로 전송하는 단계 및 상기 프로그램 인식 요청과 관련된 검색 결과를 상기 핑거프린트 매칭부로부터 수신하여 상기 클라이언트 디바이스로 전송하는 단계를 포함할 수 있다.
상기 데이터베이스 구축 단계는 상기 핑거프린트 인덱싱부가 상기 방송 데이터로부터 특징점을 추출하여 상기 추출된 특징점과 관련된 데이터를 데이터베이스에 저장하는 단계를 포함하되, 상기 핑거프린트 인덱싱부는 상기 특징점 관련 데이터를 메모리에 상주시켜 특정 프로그램에 대한 특징점 관련 데이터를 연속으로 보관하는 메모리 버퍼 데이터베이스 및 상기 특징점 관련 데이터를 시스템적으로 여러 대의 데이터베이스로 분산하여 저장하는 핑거프린트 분산 데이터베이스를 포함할 수 있다.
상기 메모리 버퍼 데이터베이스는 RAM(Random Access Memory)에 구성될 수 있다.
상기 데이터베이스에 저장하는 단계는 상기 특징점 관련 데이터를 동시에 상기 메모리 버퍼 데이터베이스 및 상기 핑거프린트 분산 데이터베이스에 저장하는 단계를 포함할 수 있다.
상기 검색 수행 단계는 상기 핑거프린트 매칭부가 실시간 방송 데이터를 수신하는 클라이언트 디바이스의 프로그램 인식 요청에 대응하여 상기 메모리 버퍼 데이터베이스를 이용하여 검색을 수행하는 단계 및 실시간 방송 이후의 서비스와 관련된 프로그램 인식 요청에 대응하여 상기 핑거프린트 분산 데이터베이스를 이용하여 검색을 수행하는 단계 중 적어도 어느 하나를 포함할 수 있다.
상기 정보 제공 방법은 상기 핑거프린트 웹 서버가 상기 검색 결과를 기반으로 상기 검색 결과와 관련된 부가 정보를 핑거프린트 서비스 데이터베이스로부터 추출하여 상기 클라이언트 디바이스로 제공하는 단계를 더 포함할 수 있다.
상기 정보 제공 방법은 핑거프린트 서비스 매니저가 상기 부가 정보를 제공하기 위해, 방송 편성 정보 및 콘텐츠 메타 데이터를 이용하여 특정 프로그램에 따른 서비스 웹 페이지를 생성하고, 방송 정보를 기반으로 연동될 웹 페이지를 정하는 서비스 정보를 생성하여 상기 핑거프린트 서비스 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
상기 정보 제공 방법은 상기 핑거프린트 인덱싱부가 상기 프로그램 인식 요청을 기반으로 특정 프로그램 내의 특정 방송 시점에 대해 발생되는 쿼리 패턴을 분석하는 단계를 더 포함할 수 있다.
상기 정보 제공 방법은 동일 프로그램에 대한 특정 방송 시점에 대해 발생되는 쿼리가 임계치보다 많은지 판단하는 단계; 및 상기 판단 결과를 기반으로, 임계치보다 많이 발생되는 특정 시점 쿼리에 대응하여 상기 핑거프린트 분산 데이터베이스 내의 특징점 관련 정보를 상기 메모리 버퍼로 동적 로딩하도록 제어하는 단계를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 핑거프린트를 통한 정보 제공 시스템은 방송 데이터의 특징점을 추출하여 검색에 사용할 수 있도록 데이터베이스를 구축하고, 클라이언트 디바이스로부터 프로그램 인식 요청을 수신하여 상기 프로그램 인식 요청을 기반으로 상기 데이터베이스를 이용하여 검색을 수행하고, 상기 프로그램 인식 요청과 관련된 검색 결과를 추출하여 상기 클라이언트 디바이스로 전송하는 핑거프린팅 서비스 시스템, 상기 핑거프린팅 서비스 시스템으로 상기 프로그램 인식 요청을 전송하는 클라이언트 디바이스 및 상기 방송 데이터를 상기 핑거프린팅 서비스 시스템으로 전송하는 방송국 시스템을 포함할 수 있다.
상기 핑거프린팅 서비스 시스템은 상기 방송 데이터로부터 특징점을 추출하여 상기 추출된 특징점과 관련된 데이터를 데이터베이스에 저장하는 등록부 및 상기 특징점 관련 데이터를 저장하는 데이터베이스를 포함하되, 상기 데이터베이스는 상기 특징점 관련 데이터를 메모리에 상주시켜 특정 프로그램에 대한 특징점 관련 데이터를 연속으로 보관하는 메모리 버퍼 데이터베이스 및 상기 특징점 관련 데이터를 시스템적으로 여러 대의 데이터베이스로 분산하여 저장하는 핑거프린트 분산 데이터베이스를 포함할 수 있다.
본 발명의 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법에 따르면, 핑거프린팅 시스템을 실방송에 적용했을 때 방송 시스템에 시간 지연 요소 없이 바로 구현 가능하도록 하며, 메모리 버퍼 데이터베이스를 통해 시스템의 효율을 높이는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템의 구성을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템의 핑거프린트 인덱싱부를 구체적으로 나타낸 상세블록도,
도 3은 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템의 핑거프린트 매칭부를 구체적으로 나타낸 상세블록도,
도 4는 본 발명의 일 실시예에 따른 실방송 정보 제공 방법을 개략적으로 나타낸 흐름도,
도 5는 핑거프린팅 서비스를 구현하기 위한 방송 서비스 시간 지연(D)을 0으로 가져가기 위한 조건을 설명하기 위한 개념도,
도 6은 핑거프린팅 서비스 시스템에 대규모 쿼리가 발생하는 경우를 나타낸 도면,
도 7은 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템에 있어서, 도 6의 대규모 쿼리를 해결하기 위한 동작을 나타낸 도면,
도 8은 도 7의 동작을 수행하기 위한 핑거프린트 인덱싱부의 구성을 구체적으로 나타낸 상세블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
핑거프린팅 기술은 이용하여 방송 프로그램 ID와 방송 시점 정보를 알기 위해서는 특징점(핑거프린트) 검색을 하기 전에 미리 해당하는 방송 프로그램에 대한 특징점을 사전에 추출하여 데이터베이스(DB:DataBase)로 구축하고 있어야 한다. 이런 이유 때문에 실방송에서 핑거프린팅 기술을 이용하기 어려움이 있었다. 실방송에서 핑거프린팅 기술을 이용하기 위해서는 실방송 콘텐츠에 대한 핑거프린트를 추출하여 데이터베이스(DB)에 저장하는 시간을고려하여 시간 지연요소를 추가하는 것이 보통의 방송 시스템에서 사용하고 있는 방식이다.
본 발명의 일 실시예에 따르면, 메모리 버퍼 데이터베이스를 이용하여 실시간 방송에 빠르게 대응하여 방송 시스템의 시간 지연 요소를 제거할 수 있다. 또한, 핑거 프린팅 데이터베이스의 동적 로딩 기능을 도입하여 시스템에 대한 동접자처리 능력을 향상할 수 있다. 이하 이를 자세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템의 구성을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템은 클라이언트 디바이스(10), 방송국 레거시 시스템(100) 및 핑거프린팅 서비스 시스템(200)을 포함할 수 있다.
도 1을 참조하면, 방송국 레거시 시스템(100)은 기존 방송국이 보유하고 있는 시스템 부분으로 방송 송출부(110), 편성정보/송출 운행 시스템(120), CMS(130: Contents Management System), 온에어 영상/음원 출력 시스템(140)을 포함할 수 있다. 방송 송출부(110)는 방송 프로그램 콘텐츠를 유선 또는 무선 네트워크를 통해 방송 신호로 송출한다. 방송 송출부(110)는 무선 안테나를 포함할 수 있다. 방송 송출부(110)는 TV 방송에 적합한 주파수대로 방송 신호를 송출한다. 편성정보/송출 운행부(120)는 TV 편성 정보를 생성하고, 방송 송출을 어떠한 방식으로 할지 결정한다. 예컨대, 하루 동안의 TV 프로그램의 일정을 결정하고, 결정된 일정에 맞춰 TV 편성 정보를 생성하여 지역 케이블 방송국, 신문사 등으로 분출할 수 있다. 반드시 하루 일정을 결정하는 것이 아니라 일주일 단위, 아니면 그 이상의 단위의 TV프로그램 일정을 결정할 수 있다. 또한, 방송 송출 방식의 결정과 관련하여, 무선 방송망으로 통해 송출할지, 통신망을 통해 IPTV, 케이블 방송의 형식으로 송출할지 결정할 수 있다. CMS(130)는 방송 관련 콘텐츠를 관리한다. CMS(130)는 콘텐츠 메타데이터를 생성한다. 예컨대, 특정 콘텐츠를 지시하는 메타데이터를 생성하여 어떤 데이터가 어떤 콘텐츠와 관련된 데이터인지 지시할 수 있도록 한다. 온에어 영상/음원 출력부(140)는 방송 콘텐츠와 관련된 데이터를 출력한다. 온에어 영상/음원 출력부(140)는 CMS(130)의 제어를 받을 수 있다. 방송 데이터는 영상 데이터 및 음성 데이터를 포함할 수 있다.
클라이언트 디바이스(10)는 방송국으로부터 방송 신호를 수신하여 콘텐츠를 소비하는 디바이스이다. 클라이언트 디바이스(10)는 방송 신호를 수신할 수 있고, 방송 신호와 관련된 콘텐츠를 디스플레이할 수 있다. 클라이언트 디바이스(10)는 스마트 기기(10-1)(스마트 폰, 스마트 패드 등을 포함할 수 있음), 스마트 TV(10-2), PC, 태블릿 기기를 포함할 수 있다. 반드시 이에 국한되는 것은 아니다. 클라이언트 디바이스(10)의 사용자는 시청하는 프로그램에 대해 알고 싶을 수 있다. 이때, 시청하는 프로그램에 대한 프로그램 인식 요청을 핑거프린팅 서비스 시스템(200)으로 전송할 수 있다. 사용자는 시청하는 프로그램의 특정 화면을 캡쳐하여 캡쳐 화면을 통해 프로그램 인식 요청을 생성하여 핑거프린팅 서비스 시스템(200)으로 전송할 수 있다. 이때, 스마트 기기의 사용자는 스마트 기기(10-1)에서 직접 디스플레이되는 화면을 캡쳐하여 프로그램 인식 요청을 생성할 수도 있고, TV(10-2)에서 디스플레이되는 화면을 캡쳐하여 프로그램 인식 요청을 생성할 수도 있다. 여기서, 화면 캡쳐는 화면 프레임 하나를 캡쳐하는 것일 수도 있고, 일정 기간(예컨대, 수 초) 동안의 영상 데이터를 캡쳐할 수도 있다. 또는, 클라이언트 디바이스(10)가 시청하는 방송 신호를 분석하여, 특정 시간대에 특정 방송국에서 송출된다는 정보를 기반으로 프로그램 인식 요청을 생성하여 전송할 수 있다. 예컨대, 사용자가 오후 10시경에 채널 12 방송국의 방송을 시청하고 있다가 프로그램 인식 요청을 전송하는 경우, 상기 프로그램 인식 요청에는 오후 10시 및 채널 12 방송의 시청을 나타내는 정보가 포함될 수 있다. 또한, 클라이언트 디바이스(10)는 실시간 방송(현재 방송국에서 실시간으로 송출하고 있는 방송)을 시청할 수도 있고, 실시간 방송이 끝난 후, VOD 서비스와 같은 방송 콘텐츠 제공 서비스에 의해 제공되는 방송 데이터를 시청할 수도 있다. 프로그램 인식 요청은 현재 클라이언트 디바이스(10)가 실시간 방송 수신과 관련한 것인지, 실시간 방송 이후의 VOD 서비스와 같은 콘텐츠 제공 서비스에 의해 제공되는 방송 데이터와 관련된 것인지를 지시하는 실시간 방송 지시자 정보를 포함할 수 있다. 또한, 프로그램 인식 요청은 목표 검색 속도와 관련된 정보를 포함할 수 있다.
프로그램 인식 요청은 상기와 같이 캡쳐된 영상과 관련된 프로그램 관련 정보(예컨대, 프로그램 식별 정보)를 검색하고, 검색 결과를 반환하라는 정보를 포함할 수 있다. 또한, 프로그램 인식 요청은 검색 결과를 기반으로 해당 프로그램 관련 부가 정보를 반환하라는 정보를 포함할 수 있다.
핑거프린팅 서비스 시스템(200)은 핑거프린트 웹 서버(210), 핑거프린트 매칭부(220), 핑거프린트 인덱싱부(230), 핑거프린트 서비스 매니저(240) 및 핑거 프린트 서비스 데이터베이스(250)를 포함할 수 있다. 핑거프린트 서비스 매니저(240) 및 핑거 프린트 서비스 데이터베이스(250)는 부가 정보를 제공하는 구성이므로, 경우에 따라(예컨대, 프로그램 식별 정보만 제공하는 경우) 핑거프린팅 서비스 시스템(200)은 핑거프린트 웹 서버(210), 핑거프린트 매칭부(220) 및 핑거프린트 인덱싱부(230)만을 포함할 수 있다.
먼저, 핑거프린트 인덱싱부(230)를 살펴보면, 상기 핑거프린트 인덱싱부(230)는 온에어되는(실시간 방송되는) 방송 데이터로부터 핑거프린트(특징점)를 추출하고, 이 데이터를 향후에 검색에 사용할 수 있도록 데이터베이스(234, 236)에 저장하는 기능을 수행한다. 또한, 핑거프린트 인덱싱부(230)는 핑거프린트 매칭부(220)부터의 검색 요청에 따라 검색을 수행할 수 있다. 핑거프린트 인덱싱부(230)는 핑거프린트를 기반으로, 프로그램 인식 요청에 포함된 영상 데이터를 비교하여 프로그램을 식별한다. 이때, 프로그램을 인식하는 단위는 3초인 것이 바람직하다. 이를 세부적으로 1초 단위로 검색 결과를 누적하여 판단하는 것이 바람직하다. 예컨대, 1초 단위로 3번 판단하여 전부 검색 결과가 동일하면 프로그램을 식별한 것으로 판단한다. 이는 경우에 따라 2번의 연속 인식 결과가 동일하면 프로그램을 인식했다고 판단할 수 있다.
도 2는 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템(200)의 핑거프린트 인덱싱부(230)를 구체적으로 나타낸 상세블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 핑거프린트 인덱싱부(230)는 등록부(232), 메모리 버퍼 데이터베이스(234) 및 핑거프린트 분산 데이터베이스(236)를 포함할 수 있다.
도 2를 참조하면, 등록부(232)는 온에어 영상/음원 출력부(140)로부터 온에어 방송 데이터를 수신하여, 핑거프린트(특징점)를 추출하여 등록시킨다. 등록부(232)는 실시간 추출기(231) 및 핑거프린트 등록부(233)를 포함할 수 있다. 실시간 추출기(231)는 실시간으로 방송되는 온에어 데이터에서 핑거프린트를 실시간으로 추출하는 기능을 수행한다. 핑거프린트는 최소한 프로그램을 인식하기 위한 최소 단위로 추출하는 것이 바람직할 수 있다. 실시간 추출기(231)는 복수의 핑거프린트 추출 알고리즘을 사용할 수 있고, 이는 설정을 통해 제어가능하다. 바람직하게는, 핑거프린트 추출 시간을 최소화할 수 있는 핑거프린트 알고리즘을 사용하는 것이 바람직할 수 있다. 핑거프린트 등록부(233)는 추출된 핑거프린트를 데이터베이스(234, 236)에 등록/저장한다.
데이터베이스(234, 236)로의 등록은 메모리 버퍼 데이터베이스(234)와 메인 핑거프린트 분산 데이터베이스(236)에 동시에 등록한다. 동시에 2개의 데이터베이스(234, 236)에 등록하는 이유는 메모리 버퍼 데이터베이스(234)는 실시간 방송 사용자의 프로그램 인식 요청에 대응하기 위한 것이고, 핑거 프린트 분산 데이터베이스(236)는 실시간 방송 이후에 VOD 서비스에 대응하기 위한 것이기 때문이다. 메모리 버퍼 데이터베이스(234)는 데이터베이스 데이터가 메모리에 상주하며 특정 프로그램에 대한 핑거프린트를 시리얼(serial)로 보관하고 이를 빠른 속도로 검색 가능하게 한다. 따라서, 실시간 방송 사용자의 프로그램 인식 요청에 대응하여서는 시간 지연 문제가 중요하고, 빠른 검색이 요구되기 때문에, 핑거프린트 등록부(233)는 온에어 데이터를 메모리 버퍼 데이터베이스(234)에 저장한다. 메모리 버퍼 데이터베이스(234)는 등록을 위한 시간을 줄이기 위해, 메인 메모리의 RAM(Random Access Memory) 영역에 구현하는 것이 바람직할 수 있다. 특히, 동시간에 특정 프로그램에 접속하는 사람이 많은 경우, 일정한 시퀀스 패턴을 갖는 쿼리가 집중되게 되므로, 메모리 버퍼 데이터베이스(234)는 이런 특징을 이용하여 RAM에 구성하여 데이터베이스 기능을 하도록 한다. 메모리 버퍼 데이터베이스(234)는 RAM에 구현된 메모리 데이터베이스로서 데이터베이스의 기본 기능(등록, 삭제, 검색, 업데이트 등의 기능)을 가질 수 있다. 메모리 버퍼 데이터베이스(234)의 용량에도 한계가 있기 때문에, 실시간 방송 프로그램과 관련 없는 기존에 저장된 데이터는 삭제될 수 있다. 또한, 경우에 따라, 실시간 방송 프로그램 관련 프로그램 인식 요청이 폭주하는 경우에는 복수의 메모리 버퍼 데이터베이스(234)를 사용하여 검색 요청을 처리할 수 있다.
핑거프린트 등록부(233)는 메모리 버퍼 데이터베이스(234)로의 등록과 동시에 메인 핑거프린트 분산 데이터베이스(236)에도 핑거프린트 데이터를 저장한다. 핑거프린트 분산 데이터베이스(236)는 검색 속도를 향상시키기 위해 데이터베이스 데이터를 시스템적으로 여러 대의 데이터베이스로 분산하여 저장한다. 이렇게 함으로써, 요구사항으로 제시되는 목표 검색 속도가 정해지면 데이터베이스 수를 증가시켜 검색속도를 증가시킬 수 있다. 또한, 본 발명의 다른 실시예에 따르면, 핑거프린트 분산 데이터베이스(236)는 메모리 데이터베이스로 구현될 수 있다. 예컨대, RAM에 구현되는 메모리 데이터베이스로 구현될 수 있다.
또한, 핑거프린트 분산 데이터베이스(236)과 메모리 버퍼 데이터베이스(234)를 분리해서 고려하는 것은 메모리 버퍼 데이터베이스(234)는 핑거프린트 분산 데이터베이스(236)에 비해 검색할 데이터 양이 매우 작기 때문에 대규모 쿼리 발생시에 검색 범위를 좁힐 수 있으므로, 효율적으로 대처가 가능하도록 하기 위한 것일 수 있다. 또한, 실방송시에 발생하는 대규모 쿼리에도 대처가 가능하다.
다시 도 1로 돌아가서, 핑거프린트 웹 서버(210)는 사용자가 클라이언트 디바이스(10)를 통해 원하는 프로그램을 시청하면서, 프로그램 인식 요청을 하면, 웹 서버(210)는 상기 프로그램 인식 요청에 기반한 검색 요청을 핑거프린트 매칭 시스템(220)에 전달한다. 핑거프린트 웹 서버(210)는 핑거프린트 매칭부(220)에서 검색된 결과가 출력되면, 이를 수신하여 검색 결과를 기반으로 핑거프린트 서버 데이터베이스(250)로부터 서비스 정보(부가 정보)를 획득하여 사용자의 클라이언트 디바이스(10)로 전송한다. 핑거프린트 웹 서버(210)는 클라이언트 디바이스(10)와 핑거프린팅 서비스 시스템(200)의 정보를 서로 주고받게끔 하는 역할을 수행할 수 있다.
핑거프린트 매칭부(220)는 핑거프린트 웹 서버(210)로부터 프로그램 인식 요청에 기반한 검색 요청을 수신하고, 해당 검색 요청을 핑거프린트 인덱싱부(230)에 전달한다. 핑거프린트 매칭부(220)는 실시간 방송인 경우에는 먼저 메모리 버퍼 데이터베이스(234)에 대해 검색을 수행하고, 다음에 핑거프린트 분산 데이터베이스를 검색하도록 함으로써 검색 속도를 높일 수 있다.
도 3은 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템(200)의 핑거프린트 매칭부(220)를 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 프로그램 인식 요청 분류부(222), 검색 요청부(224) 및 검색 결과 수신부(226)를 포함할 수 있다.
도 3을 참조하면, 프로그램 인식 요청 분류부(222)는 핑거프린트 웹 서버(210)로부터 프로그램 인식 요청을 수신한다. 그리고는 수신된 프로그램 인식 요청이 실시간 방송 수신자로부터의 프로그램 인식 요청인지, VOD와 같이 방송 이후 콘텐츠 제공 서비스 수신자로부터의 프로그램 인식 요청인지를 파악하여 분류를 수행한다. 상기 분류는 실시간 방송 지시자 정보를 기반으로 이루어질 수 있다. 프로그램 인식 요청 분류부(222)를 통해, 프로그램 인식 요청은 실시간 방송 관련 프로그램 인식 요청과 실시간 방송 이후 프로그램 인식 요청으로 나뉘어질 수 있고, 각각 다른 처리가 수행될 수 있다.
검색 요청부(224)는 실시간 방송 관련 프로그램 요청은 메모리 버퍼 데이터베이스(234)로 전송하여 검색을 수행하고, 실시간 이후 프로그램 요청은 핑거프린트 분산 데이터베이스(236)로 전송하여 검색을 수행할 수 있다. 이같은 처리를 하는 이유는 전술한 바와 같이, 실시간 방송 관련 프로그램 인식 요청에 대응하여 빠른 검색을 할 수 있도록 하기 위함이다. 실시간 방송 관련 프로그램 인식 요청에 대응하여, 메모리 버퍼 데이터베이스(234)의 검색을 수행한 이후에 핑거프린트 분산 데이터베이스를 검색하도록 함으로써 검색 속도를 높일 수 있다. 검색 요청을 수신한 메모리 버퍼 데이터베이스(234) 및 핑거프린트 분산 데이터베이스(236)는 저장된 핑거프린트를 기반으로 프로그램 인식 요청 내에 포함된 프로그램 정보(예컨대, 캡쳐된 영상 정보, 프로그램 시간 정보, 프로그램 제공 방송국 정보)를 매칭하여 검색 결과를 반환한다. 검색 결과는 프로그램 식별 정보를 포함할 수 있다.
검색 결과 수신부(226)는 메모리 버퍼 데이터베이스(234) 및 핑거프린트 분산 데이터베이스(236)로부터 검색 결과를 수신한다.
다시 도 1로 돌아가서, 핑거프린트 서비스 매니저(240)는 방송국 레거시 시스템(100)의 편성정보/송출 운행부(120) 및 CMS(130)로부터 방송 편성 정보 및 콘텐츠 메타데이터를 수신하여 서비스 웹 페이지를 구현할 수 있다. 또한, 방송 정보를 기반으로 프로그램에 따라 어떤 웹 페이지를 연동할 것인가를 정하는 서비스 편성 정보를 구현할 수 있다. 핑거프린트 서비스 매니저(240)에서 생성된 서비스 관련 정보는 핑거프린트 서비스 데이터베이스(250)에 저장된다. 따라서, 이후 핑거프린트 웹 서버(210)에서 이용할 수 있다.
핑거프린트 서비스 데이터베이스(250)는 핑거프린트 서비스 매니저(240)에서 생성된 서비스 관련 정보(부가 정보)를 저장한다. 핑거프린트 서비스 데이터베이스(250)는 핑거프린트 웹 서버(210)로부터의 요청에 의해 부가 정보를 반환한다. 핑거프린트 웹 서버(210)는 핑거프린트 매칭부(220)로부터 수신한 검색 결과 정보(예컨대, 프로그램 식별 정보)를 기반으로 서비스 정보를 요청할 수 있다. 핑거프린트 웹 서버(210)는 핑거프린트 서비스 데이터베이스(250)로부터 수신한 부가 정보와 상기 검색 결과 정보를 클라이언트 디바이스(10)에게 제공한다. 이때, 부가 정보는 웹 페이지 형태로 제공될 수 있다.
도 4는 본 발명의 일 실시예에 따른 실방송 정보 제공 방법을 개략적으로 나타낸 흐름도이다.
도 4를 참조하면, 먼저, 사용자가 자기가 시청하는 방송 프로그램에 대한 식별 정보 또는 부가 정보를 알기 위해서 핑거프린트 웹 서버(210)에 프로그램 인식을 요청하는 상황을 고려한다. 또한, 핑거프린트 인덱싱부(230)는 온에어 데이터를 온에어 영상/음원 출력부(140)로부터 수신하여 실시간으로 핑거프린트를 추출하고, 추출된 핑거프린트를 메모리 버퍼 데이터베이스(234)와 핑거프린트 분산 데이터베이스(236)에 등록한다. 이때, 메모리 버퍼 데이터베이스(234)는 메인 메모리의 RAM 영역에 구성될 수 있고, 데이터가 메모리에 상주하기 때문에 빠른 검색이 가능하다. 또한, 핑거프린트 서비스 매니저(240)는 방송국 레거시 시스템(100)의 편성정보/송출 운행부(120)와 CMS(130)로부터 방송 편성 정보 및 콘텐츠 메타데이터를 수신하여 서비스 관련 정보를 생성하고, 이를 핑거프린트 서비스 데이터베이스(250)에 저장한다.
핑거프린팅 서비스 시스템(200) 입장에서는, 먼저, 핑거프린트 웹 서버(210)가 클라이언트 디바이스(10)로부터 프로그램 인식 요청 정보를 수신한다(S410). 요청을 수신한 핑거프린트 웹 서버(210)는 요청 정보를 핑거프린트 매칭부(220)로 전송한다(S420). 핑거프린트 매칭부(220)는 요청이 실시간 방송 수신과 관련된 요청인지 여부를 판단하여(S430), 프로그램 요청을 분류한다. 만약, 실시간 방송 관련 프로그램 인식 요청인 경우, 메모리 버퍼 데이터베이스(234)를 참조하여 핑거프린트 검색을 수행한다(S440). 이는 전술한 바와 같이, 실시간 방송 관련 프로그램 인식 요청의 경우, 시간 지연을 최소화해야 하며, 따라서 빠른 검색을 위해 메모리 버퍼 데이터베이스(234)를 이용한다. 반면, 실시간 이후 프로그램 인식 요청은 핑거프린트 분산 데이터베이스(236)를 참조하여 검색을 수행한다(S435). 그리고는, 핑거프린트 매칭부(220)는 검색 결과를 핑거프린트 웹 서버(210)로 전송한다. 핑거프린트 웹 서버(210)는 상기 검색 결과를 이용하여 부가 정보 획득을 위한 요청을 핑거프린트 서비스 데이터베이스(250)로 전송하고, 핑거프린트 서비스 데이터베이스(250)로부터 부가 정보를 검색 및 추출한다(S460). 그리고는, 검색 결과 및 획득된 부가 정보를 클라이언트 디바이스(10)에게 전송한다(S470).
도 5는 핑거프린팅 서비스를 구현하기 위한 방송 서비스 시간 지연(D)을 0으로 가져가기 위한 조건을 설명하기 위한 개념도이다.
도 5를 참조하면, 사용자가 체감하는 방송 시간 지연 시간(Dt)은 방송 신호가 TV 수신기까지 도달하는데까지 걸리는 시간(d1)과 스마트 기기에서 프로그램 인식 시간(d2)을 합산한 시간이 된다. 이를 수학식으로 표현하면 다음과 같다.
[수학식 1]
Dt = d1 + d2
여기서, d1은 방송 신호 지연 시간으로 보통 지상파의 경우, 1초 이하로 알려져 있다. d2는 핑거프린트 최소 프로그램 인식 단위로서 보통 3초 정도 소요된다. 이 수치는 핑거프린팅 알고리즘에 따라 달라질 수 있다.
핑거프린팅 서비스를 수행하기 위해서 반드시 필요한 기능으로서 인덱싱 기능이 있다. 본 발명의 핑거프린트 서비스 시스템(200)에선 핑거프린트 인덱싱부(230)에서 인덱싱 작업을 수행한다. 인덱싱에 필요한 시간은 반드시 보장해 주어야 한다. 온에어 데이터에 대해 인덱싱 시간의 총합(Tt)은 핑거프린트 추출 시간(t1), 핑거프린트 등록시간(t2)을 합산한 값이 된다. 이를 수학식으로 표현하면 다음과 같다.
[수학식 2]
Tt = t1 + t2
여기서, t1은 핑거프린트 추출 시간으로서 최소 프로그램을 인식하기 위한 최소 단위의 핑거프린트 데이터를 추출하는데 걸리는 시간을 말한다. 실험에 의하면, 이는 대략 0.8초 정도 소요된다. 이 수치는 핑거프린팅 알고리즘에 따라 달라질 수 있다. 본 발명의 핑거프린트 서비스 시스템(200)의 핑거프린팅 알고리즘의 최소 프로그램 인식 단위는 3초이고, 세부적으로 1초 단위로 검색 결과를 누적하여 판단한다. 즉, 1초 단위로 3번 판단해서 전부 검출되었다고 판단되면 프로그램을 인식한 것으로 판단한다. t2는 t1에서 추출된 핑거프린트를 인덱싱 시스템에 등록하기 위한 시간이다. 본 발명에서는 메모리 버퍼 데이터베이스(234)를 메인 메모리의 RAM 영역 구현하기 때문에 등록시간이 매우 짧다. 보통 1초 이하라고 판단한다. 따라서, 총 인덱싱 시간(Tt)은 1.8초 이하에 가능하다. 동시간에 특정 프로그램에 접속하는 사람이 많은 경우, 일정한 시퀀스 패턴을 갖는 쿼리가 집중되게 된다. 메모리 버퍼 데이터베이스(234)는 이런 특징을 이용하여 RAM에 구성되고, 데이터베이스 기능을 하도록 구성한 것을 말한다.
방송 시간 지연 시간(Dt)이 총 인덱싱 시간과 최초 인식가능 시간을 합산한 값보다 크다면 방송국 시간 지연(D)은 0으로 가져갈 수 있다. 이를 수학식으로 표현하면 다음과 같다.
[수학식 3]
Dt ≥ Tt + Ti
여기서, Ti는 최소 인식 가능 시간을 나타낸다. 실험치에 의하면, Dt는 4초가 되고, Tt는 1.8초, Ti는 2.2초 이하만 되면 시간 지연 없는(D=0)인 시스템 구현이 가능하다. 핑거프린팅 인식 단위를 1초로 하고, 2번의 연속 인식 결과가 동일하다면 프로그램을 인식할 수 있기 때문에 실시간 방송에 시간 지연 없이 서비스하는 것이 가능할 수 있다.
도 6은 핑거프린팅 서비스 시스템(200)에 대규모 쿼리가 발생하는 경우를 나타낸 도면이다.
도 6을 참조하면, 핑거프린팅 서비스 시스템(200)에 대규모 쿼리가 발생하는 경우는 특정 프로그램을 많이 사람이 같이 시청한 경우에 해당한다. 도 6에 도시된 바와 같이, 방송국에서 온에어 방송인 경우, 온에어 재방송인 경우, 케이블 TV에서 재정송하는 경우에 해당한다. 이런 경우에도 사용자가 원활한 서비스를 받기 위해서는 동접 최고 상황을 기분으로 시스템을 구현해야 한다. 이렇게 구현된 시스템은 많은 비효율성이 남게 된다. 실방송과 관련된 서비스가 아닌 경우는 대부분 VOD 서비스이고, 이것에 대한 동접자 수는 랜덤하게 발생하기 때문에 대부분 균일하게 동접자 수를 유발한다. 도 6에서 VOD 서비스라고 표시된 부분이 VOD 서비스 시에 발생되는 동접자 평균 수치를 나타낸다. 이 평균 수치와 본방송에서의 최고 피크치와는 몇 십 배의 차이가 나기 때문에 시스템 구축 비용도 이에 비례하게 된다.
도 7은 본 발명의 일 실시예에 따른 실방송 정보 제공 시스템에 있어서, 도 6의 대규모 쿼리를 해결하기 위한 동작을 나타낸 도면이다.
도 7을 참조하면, 핑거프린트 인덱싱 시스템에서는 쿼리 모니터 기능이 있어서, 쿼리 패턴을 분석할 수 있다. 만일 동일한 프로그램에 대해 같은 방송 시점에 많은 쿼리가 발생한다면, 이것은 도 6에서 언급한 3가지 경우 중에 하나로 판단할 수 있다. 쿼리 분석 결과 같은 프로그램 동접자 대용량 쿼리라고 판단하면, 해당되는 핑거프린트 분산 데이터베이스(236)는 데이터베이스 정보를 메모리 버퍼 데이터베이스(234)로 동적 로딩할 수 있다. 이때, 기존의 메모리 버퍼 데이터베이스(234-1) 이외에 다른 메모리 버퍼 데이터베이스(234-2)가 사용될 수 있고, 핑거프린트 분산 데이터베이스(236)는 데이터베이스 정보를 새로 제공되는 메모리 버퍼 데이터베이스(234-2)로 동적 로딩할 수 있다. 이렇게 함으로써 핑거프린트 검색 속도를 향상시킬 수 있다.
도 8은 도 7의 동작을 수행하기 위한 핑거프린트 인덱싱부(230)의 구성을 구체적으로 나타낸 상세블록도이다. 도 8에 도시된 바와 같이, 핑거프린트 인덱싱부(230)는 쿼리 분석부(237), 판단부(238) 및 제어부(239)를 더 포함할 수 있다.
도 8을 참조하면, 쿼리 분석부(237)는 핑거프린트 매칭부(220)로부터 수신되는 검색 요청을 분석한다. 예컨대, 오후 7시부터 8시까지 방송되는 프로그램에 대해 오후 7시 28분에 많은 쿼리가 발생한다면, 이는 본방송, 재방송, 또는 케이블 재전송 중일 가능성이 있다. 따라서, 핑거프린트 매칭부(220)부터의 검색 요청을 기반으로 특정 프로그램 내의 특정 방송 시점에 대해 발생되는 쿼리 패턴을 분석한다.
판단부(238)는 상기 분석된 쿼리의 양을 임계치와 비교한다. 임계치는 설정에 의해 변경시킬 수 있다. 상기 쿼리의 양이 임계치보다 많다면, 이는 대용량 쿼리로 판단하여, 동적 로딩과 같은 제어가 필요하다. 판단부(238)는 쿼리 양을 비교하여 비교 결과 정보를 제어부(239)로 전송한다.
제어부(239)는 비교 결과 정보를 수신하고, 임계치보다 많이 발생되는 특정 시점 쿼리에 대응하여, 핑거프린트 분산 데이터베이스(236) 내의 특징점 관련 데이터를 기존 메모리 버퍼 데이터베이스(234-1)와 다른 새로운 메모리 버퍼 데이터베이스(234-2)로 동적 로딩하도록 제어한다. 제어부(239)는 메인 메모리의 하드 디스크(HDD) 일부분을 RAM으로 전환시키고, 하드 디스크에 있는 데이터를 RAM으로 이동시키는 방식을 통해 메모리 버퍼 데이터베이스(234-2)로의 동적 이동을 제어할 수 있다. 제어부(239)는 분산 데이터베이스(236)의 특정 부분의 데이터를 새로 추가되는 메모리 버퍼 데이터베이스(234-2)로 동적 로딩하도록 제어할 수 있다.
핑거프린트 매칭부(234)는 기존 메모리 버퍼 데이터베이스(234-1)뿐만 아니라 새롭게 추가된 메모리 버퍼 데이터베이스(234-2)에도 검색 요청을 전송하여 검색 속도를 향상시킬 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 방송 데이터의 특징점을 추출하여 검색에 사용할 수 있도록 데이터베이스를 구축하는 핑거프린트 인덱싱부;
    클라이언트 디바이스로부터 프로그램 인식 요청을 수신하여 핑거프린트 매칭부로 전송하고, 상기 프로그램 인식 요청과 관련된 검색 결과를 상기 핑거프린트 매칭부로부터 수신하여 상기 클라이언트 디바이스로 전송하는 핑거프린트 웹 서버; 및
    상기 프로그램 인식 요청을 기반으로 상기 핑거프린트 인덱싱부를 이용하여 검색을 수행하고, 상기 검색 결과를 추출하여 상기 핑거프린트 웹 서버로 전송하는 핑거프린트 매칭부를 포함하되, 상기 핑거프린트 인덱싱부는
    상기 방송 데이터로부터 특징점을 추출하여 상기 추출된 특징점과 관련된 데이터를 데이터베이스에 저장하는 등록부; 및
    상기 특징점 관련 데이터를 저장하는 데이터베이스를 포함하고, 상기 데이터베이스는
    상기 특징점 관련 데이터를 메모리에 상주시켜 특정 프로그램에 대한 특징점 관련 데이터를 연속으로 보관하는 메모리 버퍼 데이터베이스를 포함하며,
    상기 메모리 버퍼 데이터베이스는 클라이언트 디바이스로부터의 실시간 방송인식 요청에 실시간으로 대응하기 위한 것으로, 실시간 방송 프로그램으로부터 추출된 특징점 관련 데이터를 저장하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  2. 제 1 항에 있어서, 상기 데이터베이스는
    상기 특징점 관련 데이터를 시스템적으로 여러 대의 데이터베이스로 분산하여 저장하는 핑거프린트 분산 데이터베이스를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  3. 제 2 항에 있어서,
    상기 메모리 버퍼 데이터베이스는 RAM(Random Access Memory)에 구성되는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  4. 제 2 항에 있어서, 상기 등록부는
    상기 특징점 관련 데이터를 동시에 상기 메모리 버퍼 데이터베이스 및 상기 핑거프린트 분산 데이터베이스에 저장하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  5. 제 2 항에 있어서, 상기 핑거프린트 매칭부는
    실시간 방송 데이터를 수신하는 클라이언트 디바이스의 프로그램 인식 요청에 대응하여 상기 메모리 버퍼 데이터베이스를 이용하여 검색을 수행하고,
    실시간 방송 이후의 서비스와 관련된 프로그램 인식 요청에 대응하여 상기 핑거프린트 분산 데이터베이스를 이용하여 검색을 수행하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  6. 제 1 항에 있어서, 상기 핑거프린트 웹 서버는
    상기 검색 결과를 기반으로 상기 검색 결과와 관련된 부가 정보를 핑거프린트 서비스 데이터베이스로부터 추출하여 상기 클라이언트 디바이스로 제공하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  7. 제 6 항에 있어서,
    상기 부가 정보를 제공하기 위해, 방송 편성 정보 및 콘텐츠 메타 데이터를 이용하여 특정 프로그램에 따른 서비스 웹 페이지를 생성하고, 방송 정보를 기반으로 연동될 상기 웹 페이지를 정하는 서비스 정보를 생성하여 상기 핑거프린트 서비스 데이터베이스에 저장하는 핑거프린트 서비스 매니저를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  8. 제 2 항에 있어서, 상기 핑거프린트 인덱싱부는
    상기 프로그램 인식 요청을 기반으로 특정 프로그램 내의 특정 방송 시점에 대해 발생되는 쿼리 패턴을 분석하는 쿼리 분석부를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  9. 제 8 항에 있어서, 상기 핑거프린트 인덱싱부는
    동일 프로그램에 대한 특정 방송 시점에 대해 발생되는 쿼리가 임계치보다 많은지 판단하는 판단부;
    상기 판단부에서의 판단 결과를 기반으로, 임계치보다 많이 발생되는 특정 시점 쿼리에 대응하여 상기 핑거프린트 분산 데이터베이스 내의 특징점 관련 정보를 상기 메모리 버퍼 데이터베이스로 동적 로딩하도록 제어하는 제어부를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  10. 핑거프린트 웹 서버가 클라이언트 디바이스로부터 프로그램 인식 요청을 수신하여 핑거프린트 매칭부로 전송하는 단계;
    핑거프린트 인덱싱부가 방송 데이터의 특징점을 추출하여 검색에 사용할 수 있도록 데이터베이스를 구축하는 단계;
    상기 핑거프린트 매칭부가 상기 프로그램 인식 요청을 기반으로 상기 핑거프린트 인덱싱부를 이용하여 검색을 수행하는 단계;
    상기 핑거프린트 매칭부가 상기 검색 수행 단계에서의 검색 결과를 추출하여 상기 핑거프린트 웹 서버로 전송하는 단계; 및
    상기 검색 결과를 상기 핑거프린트 매칭부로부터 수신하여 상기 클라이언트 디바이스로 전송하는 단계를 포함하되, 상기 데이터베이스 구축 단계는
    상기 핑거프린트 인덱싱부가 상기 방송 데이터로부터 특징점을 추출하여 상기 추출된 특징점과 관련된 데이터를 데이터베이스에 저장하는 단계를 포함하고,
    상기 핑거프린트 인덱싱부는 상기 특징점 관련 데이터를 메모리에 상주시켜 특정 프로그램에 대한 특징점 관련 데이터를 연속으로 보관하는 메모리 버퍼 데이터베이스를 포함하며,
    상기 메모리 버퍼 데이터베이스는 클라이언트 디바이스로부터의 실시간 방송인식 요청에 실시간으로 대응하기 위한 것으로, 실시간 방송 프로그램으로부터 추출된 특징점 관련 데이터를 저장하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  11. 제 10 항에 있어서, 상기 핑거프린트 인덱싱부는
    상기 특징점 관련 데이터를 시스템적으로 여러 대의 데이터베이스로 분산하여 저장하는 핑거프린트 분산 데이터베이스를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법
  12. 제 11 항에 있어서,
    상기 메모리 버퍼 데이터베이스는 RAM(Random Access Memory)에 구성되는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  13. 제 11 항에 있어서, 상기 데이터베이스에 저장하는 단계는
    상기 특징점 관련 데이터를 동시에 상기 메모리 버퍼 데이터베이스 및 상기 핑거프린트 분산 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  14. 제 11 항에 있어서, 상기 검색 수행 단계는
    상기 핑거프린트 매칭부가 실시간 방송 데이터를 수신하는 클라이언트 디바이스의 프로그램 인식 요청에 대응하여 상기 메모리 버퍼 데이터베이스를 이용하여 검색을 수행하는 단계; 및
    실시간 방송 이후의 서비스와 관련된 프로그램 인식 요청에 대응하여 상기 핑거프린트 분산 데이터베이스를 이용하여 검색을 수행하는 단계 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  15. 제 10 항에 있어서,
    상기 핑거프린트 웹 서버가 상기 검색 결과를 기반으로 상기 검색 결과와 관련된 부가 정보를 핑거프린트 서비스 데이터베이스로부터 추출하여 상기 클라이언트 디바이스로 제공하는 단계를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  16. 제 15 항에 있어서,
    핑거프린트 서비스 매니저가 상기 부가 정보를 제공하기 위해, 방송 편성 정보 및 콘텐츠 메타 데이터를 이용하여 특정 프로그램에 따른 서비스 웹 페이지를 생성하고, 방송 정보를 기반으로 연동될 웹 페이지를 정하는 서비스 정보를 생성하여 상기 핑거프린트 서비스 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  17. 제 11 항에 있어서,
    상기 핑거프린트 인덱싱부가 상기 프로그램 인식 요청을 기반으로 특정 프로그램 내의 특정 방송 시점에 대해 발생되는 쿼리 패턴을 분석하는 단계를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  18. 제 17 항에 있어서,
    동일 프로그램에 대한 특정 방송 시점에 대해 발생되는 쿼리가 임계치보다 많은지 판단하는 단계; 및
    상기 임계치보다 많은지 판단하는 단계에서의 판단 결과를 기반으로, 임계치보다 많이 발생되는 특정 시점 쿼리에 대응하여 상기 핑거프린트 분산 데이터베이스 내의 특징점 관련 정보를 상기 메모리 버퍼 데이터베이스로 동적 로딩하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 방법.
  19. 방송 데이터의 특징점을 추출하여 검색에 사용할 수 있도록 데이터베이스를 구축하고, 클라이언트 디바이스로부터 프로그램 인식 요청을 수신하여 상기 프로그램 인식 요청을 기반으로 상기 데이터베이스를 이용하여 검색을 수행하고, 상기 프로그램 인식 요청과 관련된 검색 결과를 추출하여 상기 클라이언트 디바이스로 전송하는 핑거프린팅 서비스 시스템;
    상기 핑거프린팅 서비스 시스템으로 상기 프로그램 인식 요청을 전송하는 클라이언트 디바이스; 및
    상기 방송 데이터를 상기 핑거프린팅 서비스 시스템으로 전송하는 방송국 시스템을 포함하되, 상기 핑거프린팅 서비스 시스템은
    상기 방송 데이터로부터 특징점을 추출하여 상기 추출된 특징점과 관련된 데이터를 데이터베이스에 저장하는 등록부; 및
    상기 특징점 관련 데이터를 저장하는 데이터베이스를 포함하고, 상기 데이터베이스는 상기 특징점 관련 데이터를 메모리에 상주시켜 특정 프로그램에 대한 특징점 관련 데이터를 연속으로 보관하는 메모리 버퍼 데이터베이스를 포함하며,
    상기 메모리 버퍼 데이터베이스는 클라이언트 디바이스로부터의 실시간 방송인식 요청에 실시간으로 대응하기 위한 것으로, 실시간 방송 프로그램으로부터 추출된 특징점 관련 데이터를 저장하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
  20. 제 19 항에 있어서, 상기 데이터베이스는
    상기 특징점 관련 데이터를 시스템적으로 여러 대의 데이터베이스로 분산하여 저장하는 핑거프린트 분산 데이터베이스를 더 포함하는 것을 특징으로 하는 핑거프린트를 통한 정보 제공 시스템.
KR1020130051307A 2012-05-07 2013-05-07 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법 Active KR101396413B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120048071 2012-05-07
KR20120048071 2012-05-07

Publications (2)

Publication Number Publication Date
KR20130124911A KR20130124911A (ko) 2013-11-15
KR101396413B1 true KR101396413B1 (ko) 2014-05-19

Family

ID=49853534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130051307A Active KR101396413B1 (ko) 2012-05-07 2013-05-07 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101396413B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507709B1 (ko) * 2013-11-27 2015-04-07 (주)마크애니 방송프로그램 관련 부가정보 서비스를 제공하기 위한 핑거프린팅 방법
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US9924222B2 (en) * 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
WO2019225851A1 (ko) * 2018-05-21 2019-11-28 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
KR102733343B1 (ko) 2018-12-18 2024-11-25 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN111626309A (zh) * 2020-05-26 2020-09-04 北京墨云科技有限公司 一种基于深度学习的网站指纹识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005517245A (ja) 2002-02-06 2005-06-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 高速ハッシュに基づくマルチメディアオブジェクトのメタデータ検索
KR20060051233A (ko) * 2004-11-02 2006-05-19 마이크로소프트 코포레이션 다중 동기화된 데이터 스트림들에 대한 데이터베이스 검색속도를 증진하기 위한 시스템 및 방법
JP2010539608A (ja) 2007-09-14 2010-12-16 オーディテュード．コム，インク． オンラインでシェアされる放送番組のクリップの番組情報を回復するための技術
KR20120029861A (ko) * 2010-09-17 2012-03-27 삼성전자주식회사 미디어 컨텐츠 관련 정보 제공 방법, 이 방법을 수행할 수 있는 디바이스와 서버 및 저장 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005517245A (ja) 2002-02-06 2005-06-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 高速ハッシュに基づくマルチメディアオブジェクトのメタデータ検索
KR20060051233A (ko) * 2004-11-02 2006-05-19 마이크로소프트 코포레이션 다중 동기화된 데이터 스트림들에 대한 데이터베이스 검색속도를 증진하기 위한 시스템 및 방법
JP2010539608A (ja) 2007-09-14 2010-12-16 オーディテュード．コム，インク． オンラインでシェアされる放送番組のクリップの番組情報を回復するための技術
KR20120029861A (ko) * 2010-09-17 2012-03-27 삼성전자주식회사 미디어 컨텐츠 관련 정보 제공 방법, 이 방법을 수행할 수 있는 디바이스와 서버 및 저장 매체

Also Published As

Publication number Publication date
KR20130124911A (ko) 2013-11-15

Similar Documents

Publication Publication Date Title
KR101396413B1 (ko) 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법
US12010380B2 (en) Methods and apparatus to measure exposure to streaming media
US10575126B2 (en) Apparatus and method for determining audio and/or visual time shift
RU2491618C2 (ru) Методы потребления контента и метаданных
US8776124B2 (en) Thumbnail publication
CN104584571B (zh) 在机顶盒处产生音频指纹序列
JP5768134B2 (ja) 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法
US20110258211A1 (en) System and method for synchronous matching of media samples with broadcast media streams
KR101330637B1 (ko) 영상 및 영상 정보 검색 장치 및 방법, 그리고 그 시스템
US10296645B2 (en) Systems and methods for content selection based on search query correlation with broadcast media
US10547905B2 (en) Systems, methods, and devices for monitoring content viewership using short-range wireless communication
KR101369475B1 (ko) 방송 시청률 조사 시스템 및 방법
US9661605B2 (en) Posting-status notification system, information communication terminal, posting-status notification method, and program
CN105190618A (zh) 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
JP2014192629A (ja) 映像受信装置及び受信映像の画像認識方法
US20130276013A1 (en) Using Multimedia Search to Identify what Viewers are Watching on Television
CN101969580A (zh) 基于调谐频点与台标匹配的收视率统计系统及其统计方法
US20170150222A1 (en) Appratus for audience measurement on multiple devices and method of analyzing data for the same
CN105451053A (zh) 方法、计算机程序、电子设备以及系统
KR101747776B1 (ko) 핑거 프린트를 이용한 실시간 방송 컨텐츠 검색 지원 시스템 및 방법
US20110066700A1 (en) Behavior monitoring system
JP4157905B1 (ja) チャンネル自動選択システム
JP2014192630A (ja) 映像受信装置及び受信映像の画像認識方法
US9451323B2 (en) Methods and apparatus to measure an audience of an online media service
CN112235592A (zh) 直播方法、直播处理方法、装置、计算机设备

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130507

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140217

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140429

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140512

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140513

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170504

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180503

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190502

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200409

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210504

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230502

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240430

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20250430

Start annual number: 12

End annual number: 12