KR20100017679A - 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 방법 및 장치 - Google Patents

Abstract

어떠한 그래픽적인 객체도 검출되지 않는 경우 비디오 데이터 스트림의 삽입된 세그먼트가 검출된다. 비디오 데이터 스트림의 적어도 하나의 활성의 그래픽적인 객체의 존재가 비디오 데이터 스트림의 새로운 그래픽적인 객체의 출현의 검출과 동시에 검출된다. 적어도 하나의 활성의 그래픽적인 객체 및 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체가 결정되고, 가장 신뢰성있는 그래픽적인 객체의 존재는 새로운 그래픽적인 객체가 나타난다고 검출된 비디오 데이터 스트림의 지점으로부터 검출된다. 어떠한 그래픽적인 객체가 검출되지 않는 경우 비디오 데이터 스트림의 삽입된 세그먼트가 검출된다.

그래픽적인 객체, 비디오 데이터 스트림, 삽입된 세그먼트

Description

비디오 데이터 스트림으로 삽입된 세그먼트를 검출하는 방법 및 장치{Method and apparatus for detecting an inserted segment into a video data stream}

본 발명은 그래픽적인 객체가 존재하지 않는 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 방법 및 장치에 관한 것이다.

시청자가 광고들을 스킵할 수 있도록 TV 방송들에서 광고 블록들의 시작과 끝을 검출하는 다수의 기존의 시스템들이 존재한다. 광고들을 검출하는 하나의 알려진 기술은 프로그램동안 화면 상에만 나타나는 비디오 데이터 스트림의 그래픽적인 객체(예를 들어, 로고)의 존재를 검출하는 것이다.

이 시스템들에서, 비디오 데이터 스트림의 각 프레임의 4개의 모서리들은 그래픽적인 객체들의 출현을 검출하기 위해 모니터링된다. 그래픽적인 객체가 검출되면, 그래픽적인 객체의 존재는 비디오 데이터 스트림에서 모니터링된다. 예를 들어, 로고가 검출되는 경우, 로고 마스크의 존재가 비디오 데이터 스트림에서 모니터링된다. 그 후, 광고 블록의 시작은 그래픽적인 객체가 더 이상 존재하지 않을 때 검출된다.

이러한 방법의 예는 2004년 5월 17-21일, 2004, IEEE 국제 컨퍼런스, 음향, 스피치 및 신호 처리 처치, A.Albiol, M.J.Ch.Fulla, A.Albiol 및 L.Torres의 "Detection of TV Commericals", 541-544 페이지에서 발견될 수 있다. 이 개시에서, 로고 마스크는 비디오 데이터 스트림으로부터 추출된다. 로고 마스크가 검출될 때마다, 시스템은 프로그램 상태에 있다고 언급되고, 로고 마스크가 검출되지 않을 때마다, 시스템은 광고 상태에 있다고 언급된다. 현재 상태가 광고로 변경되는 경우, 시스템은 새로운 로고 마스크를 확인한다. 새로운 로고 마스크가 발견되면, 시스템은 프로그램 상태로 다시 변경한다.

비디오 데이터 스트림에서 그래픽적인 객체를 검출하는 기존의 시스템들 대부분은 그래픽적인 객체 검출기 및 그래픽적인 객체 존재 검출기를 사용한다. 그래픽적인 객체 검출기는 일정 기간 동안 비디오 데이터 스트림에서 정적인 콘텐트(즉, 그래픽적인 객체들)를 서치한다. 일단 예를 들어, 정적인 픽셀들 또는 에지들의 클러스터(cluster)가 발견되면, 그래픽적인 객체 존재 검출기가 시작된다. 그래픽적인 객체 존재 검출기는 비디오 데이터 스트림의 선두에서 시작하고, 그래픽적인 객체 검출기에 의해 발견된 그래픽적인 객체(즉, 정적인 콘텐트)의 존재에 대해 모든 프레임을 확인한다. 그래픽적인 객체가 매우 긴 시간 동안 존재하지 않으면(예를 들어, 그래픽적인 객체가 형상 또는 위치가 변경되는 경우), 그래픽적인 객체 검출기가 재시작된다. 이는 예를 들어, 비디오 데이터 스트림의 중간 어딘가일 수 있다. 그래픽적인 객체 검출기가 새로운 그래픽적인 객체의 출현을 검출하면, 그래픽적인 객체 존재 검출기는 새로운 그래픽적인 객체 등의 존재를 확인하기 위해 재시작된다.

기존의 방법들에서, 비디오 데이터 스트림에 대한 랜덤 액세스가 요구된다. 이는 종종 데이터 캐싱, 타이밍 및 버스 속도들이 임계적인 임베디드 시스템에서 문제이다.

또한, 새로운 그래픽적인 객체가 비디오 데이터 스트림에서 검출되는 경우, 그래픽적인 객체 존재 검출기는 새로운 그래픽적인 객체의 존재를 검출하기 위해 비디오 데이터 스트림의 선두에서부터 재시작한다. 그러므로 알려지지 않는 재시작 횟수들이 검출 프로세스를 완료하는데 필요로 된다. 이는 모든 광고들을 발견하기 위한 처리 시간이 기존의 방법들을 이용해서 미리 결정될 수 없다는 것을 의미한다.

또한, 유효하지 않은 그래픽적인 객체(예를 들어, 정적인 편지박스 에지)가 기존의 방법들에 의해 발견되는 경우, 어떠한 정확한 메커니즘도 존재하지 않는다. 대신, 그래픽적인 객체 존재 검출기는 비디오 데이터 스트림의 끝까지 편지 박스 경계들을 검출하기를 지속할 것이다. 이는 그래픽적인 객체 검출기가 다른 그래픽적인 객체들을 찾기 위해 재시작하지 않을 것임을 의미한다.

기존의 그래픽적인 객체 존재 검출 기술들은 대부분 프레임 에지들을 갖는 그래픽적인 객체들의 일치하는 윤곽들(outlines)에 기초한다. 그러나 이는 기존의 존재 검출 기술들은 고도로 직조된 영역들(예를 들어, 나뭇잎, 풀 등)에서 실패할 것임을 의미한다. 기존의 기술들은 매우 밝은 영역들, 구체적으로 투명한 그래픽적인 객체의 경우에 그래픽적인 객체들을 검출할 수 없다.

본 발명은 기존의 방법들과 연관된 하나 이상의 문제들을 극복하는, 비디오 데이터 스트림에서 그래픽적인 객체를 검출하는 시스템을 제공하기 위한 것이다. 구체적으로, 본 발명은 모든 그래픽적인 객체 프리 에피소드들(즉, 모든 광고들)을 발견하는데 단순한 실행만을 필요로 하는 스트리밍 인터페이스(streaming interface)를 제공하는 것이다.

이는 본 발명의 일 양태에 따라, 그래픽적인 객체가 존재하지 않는 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 방법에 의해 달성되는데, 상기 방법은, 비디오 데이터 스트림에서 적어도 하나의 활성의 그래픽적인 객체의 존재를 검출하는 단계; 비디오 데이터 스트림에서 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계; 적어도 하나의 활성의 그래픽적인 객체 및 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체를 결정하는 단계; 새로운 그래픽적인 객체가 검출된 비디오 데이터 스트림의 지점으로부터 가장 신뢰성있는 그래픽적인 객체의 존재를 검출하는 단계; 및 어떠한 그래픽적인 객체도 검출되지 않는 경우 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 단계를 포함한다.

또한, 상기는 본 발명의 제 2 양태에 따라, 그래픽적인 객체가 존재하지 않는 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 장치에 의해 달성되는데, 상기 장치는, 적어도 하나의 활성의 그래픽적인 객체의 존재를 검출하는 그래픽적인 객체 존재 검출기; 새로운 그래픽적인 객체의 출현을 검출하는 그래픽적인 객체 존재 검출기와 병렬식의 그래픽적인 객체 검출기; 및 적어도 하나의 활성의 그래픽적인 객체 및 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체를 결정하고 어떠한 그래픽적인 객체도 검출되지 않는 경우 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 제어기를 포함하고, 새로운 그래픽적인 객체 존재 검출기는 새로운 그래픽적인 객체가 검출된 비디오 데이터 스트림의 지점으로부터 가장 신뢰성있는 그래픽적인 객체의 존재를 검출한다.

이러한 방식으로, 새로운 그래픽적인 객체들은 항상 검출되고, 가장 신뢰성있는 그래픽적인 객체의 존재만이 검출된다. 이는 투명한 또는 이동하는 그래픽적인 객체들로 인한 잘못된 검출들이 존재하지 않고, 모든 검출된 그래픽적인 객체들은 참의 그래픽적인 객체들(즉, 예를 들어, 정적인 편지박스 에지가 아님)임을 보장한다. 본 발명의 방법은 비디오 데이터 스트림의 선두부터 재시작되지 않고, 현재 위치로부터 가장 신뢰성있는 그래픽적인 객체의 존재를 검출한다. 즉, 본 발명의 방법은 비디오 데이터 스트림의 상이한 부분들에 대해 상이한 그래픽적인 객체들을 이용한다.

본 발명의 실시예에서, 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계는 새로운 그래픽적인 객체가 유효한지를 결정하는 단계를 포함한다.

본 발명의 상기 실시예에서, 새로운 그래픽적인 객체가 유효한지를 결정하는 상기 단계는 새로운 그래픽적인 객체가 기한내에 검출되는 횟수들을 결정하는 단계; 횟수가 임계값을 초과하는 경우 새로운 그래픽적인 객체가 유효하다는 표시를 출력하는 단계; 및 횟수가 임계값 미만인 경우 새로운 그래픽적인 객체가 유효하지 않다는 표시를 출력하는 단계를 포함한다.

또한, 횟수가 임계값 미만인 경우 새로운 그래픽적인 객체가 유효하지 않다는 표시를 출력하는 상기 단계는, 새로운 그래픽적인 객체를 버리는 단계; 및 적어도 하나의 활성의 그래픽적인 객체의 존재를 검출하는 것을 지속하는 단계를 더 포함한다.

이러한 방식으로, 새로운 그래픽적인 객체들은 지속적으로 검출된다. 또한, 새로운 그래픽적인 객체들은 유효하지 않은 그래픽적인 객체들이 수정될 수 있도록(즉, 버려지고 이전의 그래픽적인 객체로 대체됨) 검증된다.

본 발명의 일 실시예에서, 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계는 컬러 공간 값(color space value)의 러닝 평균(running average), 예를 들어, 휘도값들에 기초하여 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계를 포함한다.

본 발명의 다른 실시예에서, 적어도 하나의 활성의 그래픽적인 객체 및 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체를 결정하는 상기 단계는, 적어도 하나의 활성의 그래픽적인 객체의 수행성능(performance)을 결정하는 단계; 및 적어도 하나의 활성의 그래픽적인 객체의 결정된 수행성능이 임계값 미만인 경우 새로운 그래픽적인 객체의 존재를 검출하는 단계를 포함한다.

이러한 방식으로, 새로운 그래픽적인 객체들의 신뢰도가 검증되고, 가장 신뢰성있는 그래픽적인 객체들만이 검출된다. 이는 보다 발견되기 어려운(즉, 직조된 또는 밝은 영역들의 그래픽적인 객체들) 그래픽적인 객체들이 보다 신뢰성있는 것들 이상으로 사용되지 않는다는 것을 의미한다. 또한, 그래픽적인 객체의 존재는 검출이 곤란한 상황들에서조차도 항상 검출된다. 그러므로, 영역들 중 적어도 하나의 그래픽적인 객체의 존재가 항상 검출될 수 있기 때문에, 어떠한 그래픽적인 객체도 검출될 수 없을 때의 간극이 결코 존재하지 않는다.

본 발명의 다른 실시예에서, 비디오 데이터 스트림은 복수의 프레임들을 포함하고, 새로운 그래픽적인 객체의 출현을 동시에 검출하는 상기 단계는 새로운 그래픽적인 객체의 출현을 검출하기 위해 복수의 프레임들 각각을 모니터링하는 단계를 포함한다.

본 발명의 상기 실시예에 따라, 새로운 그래픽적인 객체의 출현을 검출하기 위해 복수의 프레임들 각각을 모니터링하는 상기 단계는, 각 프레임을 복수의 영역들로 분할하는 단계; 및 복수의 영역들 중 적어도 하나에서 적어도 하나의 새로운 그래픽적인 객체의 출현을 검출하기 위해 복수의 영역들 각각을 모니터링하는 단계를 포함한다.

이러한 방식으로, 가장 그래픽적인 객체들을 포함할 것 같은 영역들만을 모니터링하는 것이 가능하다. 예를 들어, 프레임의 4개의 모서리들이 모니터링될 수 있다. 이는 보다 적은 노력(power) 및 시간이 그래픽적인 객체들을 포함할 것 같지 않은 영역들을 모니터링하는데 소비된다는 것을 의미한다.

본 발명의 동일한 실시예에 따라, 적어도 하나의 활성의 그래픽적인 객체 및 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체를 결정하는 상기 단계는, 새로운 그래픽적인 객체의 출현이 검출되는 복수의 영역들 각각에서 기한에 걸쳐 그래픽적인 객체 존재율을 결정하는 단계; 최고의 그래픽적인 객체 존재율을 갖는 영역을 결정하는 단계; 최고의 그래픽적인 객체 존재율을 갖는 영역의 적어도 하나의 새로운 그래픽적인 객체가 가장 신뢰성있는 그래픽적인 객체라는 표시를 출력하는 단계; 및 최고의 그래픽적인 객체 존재율을 갖지 않는 영역들의 그래픽적인 객체들을 폐기하는 단계를 포함한다.

이러한 방식으로, 가장 신뢰성있는 그래픽적인 객체의 존재만이 검출된다.

본 발명은 모든 로고 프리 에피소드들(즉, 모든 광고들)을 발견하기 위해 단일의 실행만을 필요로 된다. 또한, 그래픽적인 객체 존재 검출기와 동시에 그래픽적인 객체 검출기를 연속적으로 실행시킴으로써, 종래의 검출기들에 비해 보다 많은 정보가 이용 가능하다. 이 추가의 정보는 수행성능을 크게 개선한다. 그래픽적인 객체 존재 검출기와 동시에 그래픽적인 객체 검출기를 연속적으로 실행하는 것은 스트리밍 인터페이스 및 사전-결정적 중앙 처리 장치(CPU) 로드를 갖는 검출기를 구성 가능하게 한다.

본 발명의 보다 완전한 이해를 위해, 첨부 도면들과 함께 이하의 상세한 설명이 참조된다.

도 1은 본 발명의 실시예에 따른 장치의 단순화된 계략도.

도 2는 본 발명의 실시예에 따라 비디오 데이터 스트림에서 그래픽적인 객체를 검출하는 방법의 흐름도.

도 1을 참조하면, 본 발명의 실시예의 장치(100)는 입력 터미널(101)로부터의 비디오 데이터 스트림의 입력에 대한 프리-프로세서(102)를 포함한다. 프리-프로세서(102)는 제어기(104)에 연결된다. 제어기(104)의 출력은 그래픽적인 객체 존재 검출기(106)에 연결된다. 데이터는 제어기(104)로부터 그래픽적인 객체 존재 검출기(106)로 통신될 수 있고, 유사하게 데이터는 그래픽적인 객체 존재 검출기(106)로부터 제어기(104)로 통신될 수 있다. 또한 제어기(104)의 출력은 그래픽적인 객체 검출기(108)에 연결된다. 데이터는 제어기(104)로부터 그래픽적인 객체 검출기(108)로 통신될 수 있고, 유사하게 데이터는 그래픽적인 객체 검출기(108)로부터 제어기(104)로 통신될 수 있다. 제어기(104)는 그래픽적인 객체 존재 검출기(106) 및 그래픽적인 객체 검출기(108)로부터 데이터를 수집하도록 동작한다.

도 1의 장치(100)의 동작이 도 1 및 도 2를 참조하여 여기에 기술될 것이다.

비디오 데이터 스트림은 입력 터미널(101)을 통해 입력되고, 이에 따라 입력은 프리-프로세서(102)에 입력된다. 프리-프로세서(102)는 비디오 데이터 스트림의 복수의 프레임들을 식별하고, 그 후 각 식별된 프레임을 복수의 영역들로 분할한다. 각 식별된 영역에 대해, 프리-프로세서(102)는 휘도값들의 러닝 평균(running average)을 결정한다.

복수의 영역들 및 영역들의 휘도값들의 러닝 평균은 프리-프로세서(102)로부터 출력되고 제어기(104)로 입력된다. 그 후, 휘도값들의 러닝 평균은 제어기로부터 출력되고 그래픽적인 객체 존재 검출기(106) 및 그래픽적인 객체 검출기(108)에 입력된다.

그래픽적인 객체 존재 검출기(106)는 단계(200)에서, 비디오 데이터 스트림에서 활성의 그래픽적인 객체의 존재를 검출한다.

동시에, 그래픽적인 객체 검출기(108)는 단계(202)에서, 각 영역을 모니터링 하여 비디오 데이터 스트림에서 새로운 그래픽적인 객체의 출현을 검출한다. 그래픽적인 객체 검출기(108)는 제어기(104)로부터 수신된 휘도값들의 러닝 평균에 기초하여 새로운 그래픽적인 객체들의 출현을 검출한다.

그래픽적인 객체 검출기(108)는 임의의 적절한 기술을 이용하여 새로운 그래픽적인 객체의 출현을 검출할 수 있고, 휘도값들의 러닝 평균은 단순히 예를 들어, 명확한 설명을 위한 예로서 이용된다. 새로운 그래픽적인 객체의 출현을 검출하기 위해 존재하는 많은 기술들이 있다. 일 기술에서, 그래픽적인 객체 검출기(108)는 프레임과 동일한 치수들을 갖는 히스토그램을 이용한다.

이 기술에서, 그래픽적인 객체 검출기(108)는 히스토그램을 리셋하고, 그 후 그래픽적인 객체의 출현을 검출하기 위해 각 프레임을 차례로(예를 들어, 초당 1프레임) 확인한다.

우선, 그래픽적인 객체 검출기(108)는 예를 들어, 소벨 연산(Sobel operation)을 이용하여 현재 프레임에서 에지 픽셀들을 검출하고, 프레임의 임계 에지 맵(threshold edge map)을 생성한다. 이는 이진 결정(binary decision)(즉, 에지 또는 비-에지)을 초래한다. 그래픽적인 객체 검출기(108)는 에지가 존재한다고 결정되는 위치들에 관한 히스토그램을 증가시킨다.

그래픽적인 객체 검출기(108)는 임계값을 초과하는 엔트리들이 존재하는지를 결정하기 위해 히스토그램의 엔트리들을 확인한다. 임계값을 초과하는 엔트리들이 존재하지 않는 경우, 그래픽적인 객체 검출기(108)는 새로운 그래픽적인 객체의 존재를 위해 다음 프레임을 확인한다.

그러나, 임계값을 초과하는 엔트리들이 존재하는 경우, 새로운 그래픽적인 객체는 존재할 수 있다. 이 경우, 그래픽적인 객체 검출기(108)는 임계값을 초과하는 히스토그램값들 주변의 최소 바운딩 박스를 발견한다. 그 후, 그래픽적인 객체 검출기(108)는 최소 바운딩 박스의 치수들을 확인하여 이들이 유효한지를 결정한다. 치수가 유효하다고 결정되는 경우, 새로운 그래픽적인 객체는 존재한다. 그러면, 그래픽적인 객체 검출기(108)는 히스토그램을 리셋하고, 새로운 그래픽적인 객체의 존재를 위해 다음 프레임을 확인한다.

그래픽적인 객체 검출기(108)가 새로운 그래픽적인 객체를 검출하면, 새로운 그래픽적인 객체는 제어기(104)에 입력된다. 그 후, 제어기(104)는 단계(204)에서 새로운 그래픽적인 객체가 유효한지의 여부를 결정한다. 그래픽적인 객체 검출기(108)의 프로세서가 새로운 그래픽적인 객체의 출현을 검출하고, 제어기(104)의 프로세서가 새로운 그래픽적인 객체가 유효한지의 여부를 결정하는 동안, 그래픽적인 객체 존재 검출기(106)는 활성의 그래픽적인 객체의 존재를 검출하는 것을 지속한다는 것이 이해되어야 한다.

새로운 그래픽적인 객체가 유효한지의 여부를 결정하기 위해, 제어기(104)는 우선 기한내에 새로운 그래픽적인 객체가 검출되는 횟수들을 결정한다. 예를 들어, 제어기(104)는 기한내에 새로운 그래픽적인 객체가 영역에서 검출되는 횟수들을 결정하도록 새로운 그래픽적인 객체가 발견된 영역을 모니터링할 수 있다. 횟수가 임계값 미만인 경우, 제어기(104)는 새로운 그래픽적인 객체가 유효하지 않다는 표시를 그래픽적인 객체 존재 검출기(106) 및 그래픽적인 객체 검출기(108)에 출력한다. 그 후, 새로운 그래픽적인 객체는 폐기된다. 그래픽적인 객체 존재 검출기(106)는 활성의 그래픽적인 객체의 존재를 검출(단계 200)하는 것을 지속하고, 그래픽적인 객체 검출기(108)는 새로운 그래픽적인 객체들을 검출하기 위해 비디오 데이터 스트림을 모니터링(단계 202)하는 것을 지속한다.

새로운 그래픽적인 객체가 검출된 횟수들이 임계값을 초과하는 경우, 새로운 그래픽적인 객체는 유효하고, 제어기(104)는 단계(206)에서 활성의 그래픽적인 객체 및 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체를 결정한다. 이러한 방식으로, 제어기(104)는 최고의 그래픽적인 객체들을 그래픽적인 객체 존재 검출기(106)에 제공할 수 있다. 그래픽적인 객체 존재 검출기(106)는 이어서 그들의 신뢰도에 기초하여 활성의 그래픽적인 객체들을 업데이트 및 제거하고, 이에 따라 단계(208)에서 가장 신뢰성있는 그래픽적인 객체의 존재를 검출할 수 있다. 그 후, 가장 신뢰성있는 그래픽적인 객체의 존재는 새로운 그래픽적인 객체가 나타난다고 검출되는 비디오 데이터 스트림의 지점으로부터 검출된다.

본 발명의 실시예에 따라, 가장 신뢰성있는 그래픽적인 객체를 결정하기 위해, 제어기(104)는 우선 그래픽적인 객체 존재 검출기(106)로부터 존재 검출들의 이력을 이용하여 활성의 그래픽적인 객체의 수행성능(performance)을 결정한다. 수행성능은 예를 들어, 대응하는 영역의 활성의 그래픽적인 객체의 양(positive) 의 검출들의 수, 또는 대응하는 영역의 활성의 그래픽적인 객체의 약한(weak) 그래픽적인 객체 픽셀들의 수에 관련될 수 있다.

수행성능이 임계값 미만이라고 결정되는 경우(예를 들어, 양의 검출들의 수 가 불충분하거나 너무 많은 약한 그래픽적인 객체 픽셀들이 존재하는 경우), 제어기(104)는 활성의 그래픽적인 객체를 새로운 그래픽적인 객체로 대체하고, 표시를 그래픽적인 객체 존재 검출기(106)에 출력한다. 그러면, 그래픽적인 객체 존재 검출기(106)는 새로운 그래픽적인 객체가 나타나는 것이 검출된 비디오 데이터 스트림의 지점으로부터 새로운 그래픽적인 객체의 존재를 검출한다.

한편, 결정된 수행성능이 임계값을 초과하는 경우(예를 들어, 양의 검출들의 수가 충분하거나 약한 그래픽적인 객체 픽셀들이 거의 없는 경우), 제어기는 새로운 그래픽적인 객체들을 폐기하고, 표시를 그래픽적인 객체 존재 검출기(106)에 출력한다. 그러면, 그래픽적인 객체 존재 검출기(106)는 활성의 그래픽적인 객체의 존재를 검출하는 것을 지속한다.

본 발명의 대안적인 실시예에 따라, 가장 신뢰성있는 그래픽적인 객체를 결정하기 위해, 제어기(104)는 새로운 객체의 출현이 검출되는 복수의 영역득 각각에서 기한 동안 그래픽적인 객체 존재율을 결정한다. 그래픽적인 객체 존재율은 그래픽적인 객체 존재 검출기(106)로부터 그래픽적인 객체 존재 검출들의 이력을 이용하여 결정된다. 그 후, 제어기(104)는 최고의 그래픽적인 객체 존재율을 갖는 영역을 결정한다. 제어기(104)는 최고의 그래픽적인 객체 존재율을 갖는 영역의 새로운 그래픽적인 객체가 가장 신뢰성있는 그래픽적인 객체라는 표시는 그래픽적인 객체 존재 검출기(106) 및 그래픽적인 객체 검출기(108)에 출력한다. 최고의 그래픽적인 객체 존재율을 갖지 않는 영역들에서 검출된 그래픽적인 객체들은 폐기되고(즉, 비활성으로 됨) 그래픽적인 객체 존재 검출기(106)는 새로운 그래픽적인 객체가 나타나는 것이 검출된 비디오 데이터 스트림의 지점으로부터 가장 신뢰성있는 새로운 그래픽적인 객체를 검출한다.

제어기는 어느 영역이 최고의 그래픽적인 객체 존재율을 갖는지를 때때로 확인할 수 있다(존재 검출들의 이력을 이용하여). 이러한 방식에서, 가장 신뢰성있는 그래픽적인 객체는 최고의 그래픽적인 객체 존재율을 갖는 것으로 결정된 그래픽적인 객체이다. 임의의 다른 그래픽적인 객체들은 폐기된다. 또는 대안적으로, 그래픽적인 객체 존재율이 일정한 임계치를 초과하면, 다른 영역들에 대한 활성 마스크들이 비활성으로 될 수 있다.

그 후, 제어기(104)는 단계(210)에서 비디오 데이터 스트림의 삽입된 세그먼트(예를 들어, 광고)를 검출할 수 있다. 제어기(104)는 어떠한 그래픽적인 객체도 검출되지 않을 때 삽입된 세그먼트를 검출한다. 즉, 제어기(104)는 그래픽적인 객체 존재 검출기(106)가 더 이상 활성의 그래픽적인 객체의 존재를 검출하지 않고, 그래픽적인 객체 검출기(108)가 어떤 새로운 그래픽적인 객체들도 검출하지 않을 때 삽입된 세그먼트를 검출한다. 그 후, 제어기(104)는 장치(100)의 출력 터미널상에 삽입된 세그먼트가 존재한다는 표시를 출력한다.

본 발명의 실시예들이 첨부 도면들에서 예시되고 앞선 상세한 설명에서 기술되었지만, 본 발명은 개시된 실시예들로 제한되지 않고, 이하의 청구범위에서 제시된 바와 같은 본 발명의 범위에서 벗어나지 않고 다양하게 변형할 수 있다는 것이 이해될 것이다. 본 발명은 각각의 그리고 모든 신규의 특징적인 특징들 및 특징적인 특징들의 각각의 그리고 모든 조합이 존재한다. 청구범위에서의 참조 번호들은 그들의 보호 범위를 제한하지 않는다. 용어 "포함하도록" 및 그 활용형들의 사용은 청구범위에서 언급한 것들 이외의 요소들의 존재를 배제하지 않는다. 요소들의 단수 표현의 사용은 이러한 요소들의 복수의 존재를 배제하지 않는다.

당업자에게 명백한 것처럼, '수단'은, 단독으로 또는 다른 기능들과 조합하여, 단독으로 또는 다른 소자들과 상호-동작하여, 동작을 재현하거나 특정된 기능을 재현하도록 설계된 임의의 하드웨어(예를 들어, 별도의 또는 집적된 회로들 또는 전자 소자들) 또는 소프트웨어(예를 들어, 프로그램들 또는 프로그램들의 부분들)를 포함한다는 것을 의미한다. 본 발명은 몇 개의 특유의 소자들을 포함하는 하드웨어에 의해 및 적절히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 장치 청구항에서, 열거되는 몇 개의 수단들, 이 수단들 중 몇 개는 하나의 및 동일한 하드웨어 아이템에 의해 구현될 수 있다. '컴퓨터 프로그램 제품'은 인터넷과 같은 네트워크를 통해 다운로드 가능한, 또는 임의의 다른 방식으로 구입 가능한 예를 들어, 플로피 디스크와 같은 컴퓨터-판독 가능한 매체상에 저장된 임의의 소프트웨어 제품을 의미한다고 이해해야 한다.

Claims (12)

1. 그래픽적인 객체가 존재하지 않는 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 방법에 있어서,

   비디오 데이터 스트림에서 적어도 하나의 활성의 그래픽적인 객체의 존재를 검출하는 단계;

   상기 비디오 데이터 스트림에서 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계;

   상기 적어도 하나의 활성의 그래픽적인 객체 및 상기 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체를 결정하는 단계;

   상기 새로운 그래픽적인 객체가 검출된 상기 비디오 데이터 스트림의 지점으로부터 상기 가장 신뢰성있는 그래픽적인 객체의 존재를 검출하는 단계; 및

   어떠한 그래픽적인 객체도 검출되지 않는 경우 상기 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
2. 제 1 항에 있어서,

   상기 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계는 상기 새로운 그래픽적인 객체가 유효한지를 결정하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
3. 제 2 항에 있어서,

   상기 새로운 그래픽적인 객체가 유효한지를 결정하는 단계는:

   상기 새로운 그래픽적인 객체가 기한내에 검출되는 횟수들을 결정하는 단계;

   상기 횟수가 임계값을 초과하는 경우 상기 새로운 그래픽적인 객체가 유효하다는 표시를 출력하는 단계; 및

   상기 횟수가 상기 임계값 미만인 경우 상기 새로운 그래픽적인 객체가 유효하지 않다는 표시를 출력하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
4. 제 3 항에 있어서,

   상기 횟수가 상기 임계값 미만인 경우 상기 새로운 그래픽적인 객체가 유효하지 않다는 표시를 출력하는 단계는:

   상기 새로운 그래픽적인 객체를 폐기하는 단계; 및

   상기 적어도 하나의 활성의 그래픽적인 객체의 존재를 검출하는 것을 지속하는 단계를 더 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계는 컬러 공간 값(color space value)의 러닝 평균(running average)에 기초하여 새로운 그래픽적 인 객체의 출현을 동시에 검출하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
6. 제 1 항에 있어서,

   상기 적어도 하나의 활성의 그래픽적인 객체 및 상기 새로운 그래픽적인 객체로부터 상기 가장 신뢰성있는 그래픽적인 객체를 결정하는 단계는:

   상기 적어도 하나의 활성의 그래픽적인 객체의 수행성능(performance)을 결정하는 단계; 및

   상기 적어도 하나의 활성의 그래픽적인 객체의 상기 결정된 수행성능이 임계값 미만인 경우 상기 새로운 그래픽적인 객체의 존재를 검출하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

   상기 비디오 데이터 스트림은 복수의 프레임들을 포함하고,

   상기 새로운 그래픽적인 객체의 출현을 동시에 검출하는 단계는 상기 새로운 그래픽적인 객체의 출현을 검출하기 위해 상기 복수의 프레임들 각각을 모니터링하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
8. 제 7 항에 있어서,

   상기 새로운 그래픽적인 객체의 출현을 검출하기 위해 상기 복수의 프레임들 각각을 모니터링하는 단계는:

   각 프레임을 복수의 영역들로 분할하는 단계; 및

   상기 복수의 영역들 중 적어도 하나에서 적어도 하나의 새로운 그래픽적인 객체의 출현을 검출하기 위해 상기 복수의 영역들 각각을 모니터링하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
9. 제 8 항에 있어서,

   상기 적어도 하나의 활성의 그래픽적인 객체 및 상기 새로운 그래픽적인 객체로부터 상기 가장 신뢰성있는 그래픽적인 객체를 결정하는 단계는:

   새로운 그래픽적인 객체의 출현이 검출되는 상기 복수의 영역들 각각에서 기한에 걸쳐 그래픽적인 객체 존재율을 결정하는 단계;

   최고의 그래픽적인 객체 존재율을 갖는 영역을 결정하는 단계;

   상기 최고의 그래픽적인 객체 존재율을 갖는 상기 영역의 상기 적어도 하나의 새로운 그래픽적인 객체가 상기 가장 신뢰성있는 그래픽적인 객체라는 표시를 출력하는 단계; 및

   상기 최고의 그래픽적인 객체 존재율을 갖지 않는 영역들의 그래픽적인 객체들을 폐기하는 단계를 포함하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 수행하는 복수의 프로그 램 코드 부분들을 포함하는 컴퓨터 프로그램 제품.
11. 그래픽적인 객체가 존재하지 않는 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 장치에 있어서,

    적어도 하나의 활성의 그래픽적인 객체의 존재를 검출하는 그래픽적인 객체 존재 검출기;

    새로운 그래픽적인 객체의 출현을 검출하는 상기 그래픽적인 객체 존재 검출기와 병렬식의 그래픽적인 객체 검출기; 및

    상기 적어도 하나의 활성의 그래픽적인 객체 및 상기 새로운 그래픽적인 객체로부터 가장 신뢰성있는 그래픽적인 객체를 결정하고 어떠한 그래픽적인 객체도 검출되지 않는 경우 상기 비디오 데이터 스트림의 삽입된 세그먼트를 검출하는 제어기를 포함하고,

    상기 새로운 그래픽적인 객체 존재 검출기는 상기 새로운 그래픽적인 객체가 검출된 상기 비디오 데이터 스트림의 지점으로부터 상기 가장 신뢰성있는 그래픽적인 객체의 존재를 검출하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 장치.
12. 제 11 항에 있어서,

    상기 비디오 데이터 스트림의 복수의 프레임들을 식별하는 프리-프로세서를 더 포함하고, 상기 그래픽적인 객체 검출기는 새로운 그래픽적인 객체의 출현을 검출하기 위해 상기 복수의 프레임들 각각을 모니터링하는, 비디오 데이터 스트림의 삽입된 세그먼트 검출 장치.

Images