KR20150091441A - 비디오에 기초한 대상 특성화, 분류, 식별 및/또는 프리전스 응답(presence response)을 위한 방법, 시스템, 장치, 회로 및 관련한 컴퓨터 실행가능한 코드 - Google Patents
비디오에 기초한 대상 특성화, 분류, 식별 및/또는 프리전스 응답(presence response)을 위한 방법, 시스템, 장치, 회로 및 관련한 컴퓨터 실행가능한 코드 Download PDFInfo
- Publication number
- KR20150091441A KR20150091441A KR1020147015897A KR20147015897A KR20150091441A KR 20150091441 A KR20150091441 A KR 20150091441A KR 1020147015897 A KR1020147015897 A KR 1020147015897A KR 20147015897 A KR20147015897 A KR 20147015897A KR 20150091441 A KR20150091441 A KR 20150091441A
- Authority
- KR
- South Korea
- Prior art keywords
- indicators
- video
- subject
- response
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000004044 response Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012512 characterization method Methods 0.000 title abstract description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 61
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims 1
- 230000003068 static effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000037308 hair color Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241000702489 Maize streak virus Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
- G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
비디오에 기초한 대상 특성화, 분류, 식별 및/또는 프리전스 응답(presence response)을 제공하기 위한 방법, 시스템, 장치, 회로, 및 관련한 컴퓨터 실행가능한 코드가 개시된다. 몇몇 실시예에 따르면, 비디오 획득 모듈, 비디오 분석 모듈, 및 대상 프리전스 응답 모듈을 포함하는 시스템이 제공된다.
Description
본 발명은 일반적으로 컴퓨팅, 인간-기계간 인터페이싱, 감시, 보안, 미디어 및 자동화된 제어 시스템 분야에 관한 것이다. 보다 구체적으로는, 본 발명은 비디오에 기초한 대상 특성화, 분류, 식별 및/또는 프리전스 응답(presence response)를 제공하기 위한 방법, 시스템, 장치, 회로 및 관련한 컴퓨터 실행가능한 코드에 관한 것이다.
비디오에 기초한 검체(human subjects) 관찰은 1940년대 이래 존재해왔다. 컴퓨터 비전은 영상을 획득, 처리, 분석, 및 이해하기 위한 방법과, 일반적으로 수 또는 기호 정보를 생산하기 위한 실세계로부터의 고차원 데이터를 포함하는 분야이다. 영상 이해는 기하학, 물리학, 통계학, 학습이론의 도움으로 구축된 모델을 사용한 영상 데이터로부터 기호 정보를 풀어내는 것으로 간주될 수 있다. 컴퓨터 비전의 응용은 생산라인 상에서 빠르게 지나가는 병들(bottles)을 검사할 수 있는 산업기계 비전 시스템과 같은 작업으로부터 인공지능 및 주변 세상을 이해할 수 있는 컴퓨터 또는 로봇의 연구에까지 이르고 있다. 컴퓨터 비전 및/또는 그 파생물은 컴퓨터화된 기기들과 관련된 비디오 카메라와 송수신선이 직결되어 있는 동안, 몸짓(gesturing)에 의해 상기 컴퓨터화된 기기들을 제어하거나 상호작용할 수 있는 능력을 사용자에게 제공하는 비디오에 기초한 인간-기계간 인터페이싱 시스템의 일부로서도 사용될 수 있다. 컴퓨터 비전 및/또는 그 파생물은 나아가 비디오 자료 또는 기록 내에서 개인을 식별하고 선택적으로 그들의 활동을 특징지을 수 있는 비디오 감시에 기반한 보안 시스템의 일부로서 사용될 수도 있다.
집, 구내, 시설, 주변 및/또는 어떤 타입의 위치와 관련한 기기 및 다양한 양상들의 컴퓨터화되고 동적인 제어가 기대될 수 있다. 나아가, 집, 구내, 시설, 주변 및/또는 어떤 다른 타입의 위치와 관련한 기기 및 다양한 양상들의 특정한 컴퓨터화되거나 자동화된 제어를 대상에게 제공하고, 그 결과, 기기 또는 양상들에 대한 제어가 상기 집, 구내, 시설, 주변 및/또는 어떤 다른 타입의 위치에 있거나 근접해 있는 대상 또는 대상들의 신원 또는 특징에 응답할 것이 기대될 수 있다. 더 나아가, 집, 구내, 시설, 주변 및/또는 어떤 타입의 위치와 관련한 다양한 보안 기기들의 특정한 컴퓨터화되거나 자동화된 제어를 대상에게 제공하고, 그 결과, 상기 보안 기기의 제어 또는 상태가 집, 구내, 시설, 주변 및/또는 어떤 다른 타입의 위치에 있거나 근접해 있는 대상 또는 대상들의 신원 또는 특징에 응답할 것이 기대될 수 있다.
본 발명의 목적은 컴퓨터 비전 및/또는 그 파생물을 컴퓨터화된 기기들과 관련된 비디오 카메라와 송수신선이 직결되어 있는 동안, 몸짓(gesturing)에 의해 상기 컴퓨터화된 기기들을 제어하거나 상호작용할 수 있는 능력을 사용자에게 제공하는 비디오에 기초한 인간-기계간 인터페이싱 시스템의 일부로서 사용하고자 하며, 나아가 비디오 자료 또는 기록 내에서 개인을 식별하고 선택적으로 그들의 활동을 특징지을 수 있는 비디오 감시에 기반한 보안 시스템의 일부로서 사용될 수 있도록 하는 것이다.
본 발명은 비디오에 기초한 대상 특성화, 분류, 식별 및/또는 프리전스 응답(presence response)를 제공하기 위한 방법, 시스템, 장치, 회로 및 관련한 컴퓨터 실행가능한 코드를 포함한다. 추가적인 실시예들에 따르면, 대상에 관하여 시각적으로 탐지된 특징들 및/또는 지시자들에 기초하여 상기 대상의 경험을 커스터마이즈(customize)하도록 적응되는 시스템들이 제공될 수 있다. 몇몇 실시예들에 따르면, 카메라들, 비디오 회로 및 포트들, 대상(예를 들어, 사람, 어른, 아이 등)의 영상들의 집합을 획득하도록 적응될 수 있는 것을 포함할 수 있는 하나 이상의 비디오 획득 서브-시스템들이 제공된다. 상기 하나 이상의 비디오 획득 서브-시스템들은 필수적 또는 그렇지 않다면 기능적으로 비디오 분석 서브-시스템과 연관될 수 있으며, 상기 비디오 분석 서브-시스템은 다양한 영상 처리 모듈들, 로직 및 회로들, 및 상기 획득된 영상들의 집합으로부터 하나 이상의 시각적으로 탐지가능한 대상 특징들, 즉, 높이, 너비, 부피, 팔다리 사이즈, 팔다리 사이즈의 비율, 몸통 사이즈 대비 팔다리 비율, 다른 팔다리들과 팔다리 부분들 간의 모션 각도 범위, 팔다리 부분들과 몸통 간의 모션 각도 범위, 머리 사이즈, 머리 움직임, 머리카락 색깔 및 모양, 안면 특징들, 의복 타입 및 배치, 독특한 착용가능한 악세사리들과 같은 동적 및/또는 정적인 것들을 추출, 추론, 또는 추산하도록 적응될 수 있는 것들을 포함할 수 있다. 상기 추출된 대상 특징들은 상기 대상의 (1) 나이, (2) 성별, (3) 민족, (4) 데모그래픽(demographic), (5) 신체적 특징, (6) 모션 특징, (7) 신체 조건, (8) 정신 상태, (9) 및 현재 의도(들)를 나타내는 하나 이상의 대상 지시자들 또는 대상 파라미터들을 생성하도록 분석되고 특성화/수량화될 수 있다. 상기 대상의 동적(모션) 특징들로부터 유래된 몇몇 지시자들 또는 지시자들의 집합들은 모션 주파수 계수들을 포함하는 신체 일부 모션 프로파일들, 신체 일부 모션 프로파일들의 조합들, 및 그들의 파생물을 포함할 수 있다.
대상 식별/분류 서브-시스템은 상기 추출된 대상 지시자들을 수신하고, 대상 지시자들의 지시자 참조 데이터베이스에 접속하고, 그 영상이 비디오 시퀀스 내에 존재하는 대상을 식별 및/또는 분류하도록 적응되는 모듈들, 로직 및 회로들로 구성될 수 있다. 상기 식별/분류 서브-시스템은 상기 수신된 대상 지시자들을 상기 지시자 참조 데이터베이스 내의 참조 대상/분류 지시자들과 연관되도록 시도할 수 있다. 상기 참조 데이터베이스 내에 저장된 상기 참조 대상 지시자들은 특정 대상(예를 들어, Dor Givon이라는 이름의 개인), 또는 대상들의 하나 이상의 그룹들, 타입들 또는 분류들(예를 들어, 남성, 아시안, 어른)과 연관될 수 있다.
수신된 대상 지시자들의 집합과 상기 참조 데이터베이스에 저장된 참조 지시자들 간의 연관관계는 완전하거나 불완전할 수 있다. 임의의 상황에서, 추적되는 대상(개인)에 대해 수신된 대상 지시자들의 집합은 상기 참조 데이터베이스 내에 그 대상에 대해 저장된 참조 지시자들의 집합보다 작을 수 있다. 이러한 경우, 상기 수신된 지시자들과 상기 참조 지시자들간의 부분적인 매칭(match)이 식별 또는 분류(선택적으로: 오직 상응하는 지시자들간의 매칭이 충분히 높은 한)에 충분할 수 있다. 다른 사례에서, 추적되는 대상(개인)에 대한 수신된 대상 지시자들의 집합은 상기 참조 데이터베이스 내에 그 대상에 대해 저장된 참조 지시자들의 집합보다 클 수 있다. 이러한 경우, 일단 상기 수신된 지시자들과 상기 참조 지시자들간 매칭이 이루어지고(선택적으로: 오직 상응하는 지시자들간의 매칭이 충분히 높을 때) 상기 개인 대상이 식별되면, 상기 참조 지시자 데이터베이스 내의 그 대상의 기록들은 상기 분석 서브-시스템으로부터 수신된 새롭고 및/또는 갱신된 대상 지시자들을 포함하도록 갱신될 수 있다.
대상 식별 또는 분류에 기초하여, 대상 응답 서브-시스템이 다음 중 하나 이상의 사항을 변경하거나 유발(trigger)시킬 수 있다.
(1) 구내 또는 구내 가까이, 주위 또는 주변에 근접한, 또는 그 외 대상과 관련하여 주어지는 미디어 및/또는 콘텐트; (2) 구내, 주위, 주변에 근접한, 또는 그 외 상기 대상과 관련한 하나 이상의 환경적 조건들; 및 (3) 구내, 주위, 또는 주변에 근접한, 또는 그 외 상기 대상과 관련한 보안 지위 및 조건.
명확히 식별된 대상들 또는 특정 그룹에 속하는 것으로 특징지어지는 대상 또는 특정 타입의 대상들에 대한 응답은 기능적으로 연관된 응답 데이터베이스 내에 저장된 프로파일 또는 규칙-집합(rule-set)에 기초될 수 있다.
몇몇 실시예들에 따르면, 시각적으로 탐지된 특징들은 정적 및/또는 동적 특징들일 수 있다. 정적 또는 동적 특징들의 임의의 조합은 대상 지시자 또는 대상 파라미터를 추산하기 위해 획득되고 분석될 수 있다. 상기 획득된 정적/동적 특징들 또는 그들의 조합은 상기 대상의 높이, 너비, 부피, 팔다리 사이즈, 팔다리 사이즈의 비율, 몸통 사이즈 대비 팔다리 비율, 몸통 움직임, 다른 팔다리들과 팔다리 부분들 간의 모션 각도 범위, 팔다리 부분들과 몸통 간의 모션 각도 범위, 머리 사이즈, 머리 움직임, 머리카락 색깔 및 모양, 안면 특징들, 의복 타입 및 배치, 독특한 착용가능한 악세사리들을 포함할 수 있다. 오늘날 알려진 또는 미래에 발견되거나 창안될 어떠한 다른 시각적으로 탐지가능한 특징들 또는 특징들의 조합이 본 발명에 적용가능하다.
본 발명의 추가적 실시예들은 대상의 모션 다이내믹스(motion dynamics)와 같은 시각적으로 탐지가능한 대상의 동적 특징들에 기초하여 비디오에 기초한 개개인의 감시, 식별 및/또는 분류를 제공하기 위한 방법, 회로, 장치, 시스템 및 관련한 컴퓨터 실행가능한 코드를 포함할 수 있다. 몇몇 실시예들에 따르면, 비디오 시퀀스 내에 주어진 개인 이동 요소의 시공간적 특징들은 (1) 하나 이상의 신체 일부 특정 모션 프로파일(Body Part Specific Motion Profiles: BPSMP), 및 또는 (2) 신체 일부 특정 주파수 계수(body Part Specific Frequency Coefficients: BPSFC)의 집합으로 전환될 수 있다. BPSMP 또는 주파수 계수 중 하나는 대상 지시자들로 저장되어, 또 다른 비디오 시퀀스 내에서 상기 주어진 대상/개인의 또 다른 요소를 식별하기 위한 참조(들)로서 사용될 수 있다. 추가적인 실시예들에 따르면, 비디오 시퀀스 내에서 개인의 하나 이상의 팔다리들, 몸통 및 선택적으로 머리/목(신체 일부들로써 언급됨)은 개인이 움직이는 동안 개별적으로 추적될 수 있다. 신체 일부 움직임의 추적은 상기 추적된 신체 일부들 중 하나 이상에 대한 모션 프로파일을 생성하기 위해 분석되고 사용될 수 있다. 상기 신체 일부 특정 모션 프로파일은 상기 대상이 걷거나, 뛰거나, 또는 그 외 이동하는 동안 신체 일부 모션의 패턴이 재발생하는 것을 나타낼 수 있다. 게다가, 상기 모션 프로파일 중 하나 이상은 상기 추적된 신체 일부 각각에 대한 모션 관련한 주파수 계수 또는 그 집합을 생성하도록 사용될 수 있다. 주어진 신체 일부와 연관된 모션 관련한 주파수 계수는 신체 일부 특정 주파수 계수로 언급될 수 있으며, 하나 이상의 BPSFC는 각각의 추적된 신체 일부에 대해 생성될 수 있다. 각각의 주어진 추적된 팔다리/몸통/머리에 대한 상기 하나 이상의 BPSFC는 상기 개인 대상이, 예를 들어 걷거나 뛰는 동안의, 움직임 중일 경우, 상기 주어진 추적된 부분 내에 존재하는 시공간적 패턴들(예를 들어, 주기적/반복적 움직임)을 나타낼 수 있다.
개인의 신체 일부 특정 모션 프로파일(BPSMP) 또는 그 집합(예를 들어, (1) 오른쪽 팔, 오른쪽 다리, 및 머리; (2) 오른쪽 팔, 왼쪽 팔, 왼쪽 다리, 및 오른쪽 어깨)은 모션 서명 벡터(Motion Signature Vector: MSV)의 일부로서 저장되고, 색인되고, 후에 참조될 수 있다. 동일한 주어진 개인의 다른 신체 일부들에 관한 BPSFC의 조합 또는 집합(예를 들어, (1) 오른쪽 팔, 오른쪽 다리, 및 머리; (2) 오른쪽 팔, 왼쪽 팔, 왼쪽 다리, 및 오른쪽 어깨)이 상기 동일한 주어진 개인에 대해 동일하거나 또 다른 모션 서명 벡터(MSV)의 일부로서 저장되고, 색인되고, 후에 참조될 수 있다. 따라서, 저장된 참조 MSV의 상응하는 BPSMP 및/또는 BPSFC와 비디오 추적되는 개인으로부터 유래된 상응하는 프로파일들 및/또는 BPSFC 간의 매칭 또는 부분적인 매칭은 비디오 추적되는 사람이 상기 참조 MSV의 원천이었던 사람과 동일한 사람이라는 점을 나타낼 수 있다.
참조 BPSMP 값 범위와 참조 BPSFC 값 범위, 또는 그들의 임의의 조합은 나이 범위, 성별, 인종 등을 포함하는 특정한 대상 분류를 나타낼 수 있다. 따라서, 주어진 대상의 비디오 시퀀스로부터 유래된 MSV와, 특정 카테고리(예를 들어, 나이 범위, 성별, 인종 등)와 연관되어 정의된 특정 참조 범위 내의 BPSMP 값들 및/또는 BPSFC 값들을 포함하는 것은 상기 비디오 시퀀스 내의 상기 주어진 대상이 상기 특정 카테고리(예를 들어, 나이 범위, 성별, 인종 등)에 속한다는 것을 나타낼 수 있다.
본 발명으로 여겨지는 주제는 본 명세서의 결론부에서 특히 나타나 있고, 명확히 청구되었다. 그러나, 본 발명의 목적, 특징, 및 장점과 더불어, 구성 및 동작 방법 모두에 대한 본 발명은 수반하는 도면을 읽을 때 다음의 상세한 설명을 참조함으로써 제일 잘 이해될 수 있다.
도 1a는 비디오 획득 서브-서브시스템, 비디오 분석 서브-시스템, 대상 또는 카테고리 식별 서브-시스템, 및 대상 응답 서브-시스템을 포함하는 실시예들에 따른 모범적인 비디오에 기초한 대상 프리전스 응답 시스템(Subject Presence Response System: SPRS)의 기능적 블록 다이어그램이다.
도 1b는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 포괄적 동작 방법의 단계들을 포함하는 흐름도이며, 상기 포괄적 동작은 상기 대상을 식별하거나 분류하기 위해 대상/카테고리 지시자 데이터베이스를 참조하고, 획득된 비디오 시퀀스 내에서 상기 대상의 식별 또는 분류에 응답하기 위해 대상/카테고리 참조 데이터베이스를 참조하여, 비디오 시퀀스 내에서 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 1c는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 대상 등록 방법의 단계들을 포함하는 흐름도이며, 상기 등록 동작은 상기 주어진 대상에 관한 하나 이상의 기록들을 상기 추출된 특징들로 갱신하고, 대상/타입 프로파일 데이터베이스 내의 하나 이상의 기록들을 상기 주어진 대상의 장래 탐지에서 유발되는 응답을 나타내는 데이터로 갱신하여, 주어진 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 2는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 보안 관련한 동작의 단계들을 포함하는 흐름도이며, 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하거나 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 보안 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 3은 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 환경 관련한 동작의 단계들을 포함하는 흐름도이며, 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하고 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 환경 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 4는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 콘텐트 프리젠테이션(content presentation) 관련한 동작의 단계들을 포함하는 흐름도이며, 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하거나 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 콘텐트 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 5는 (1) 정적 및 동적 특징이 비디오 시퀀스로부터 추출될 수 있고, (2) 본 발명의 실시예들에 따라 대상 지시자들이 생성되고, 참조 지시자들로서 사용되거나 참조 지시자들과 함께 사용되는 과정의 단계들을 포함하는 흐름도를 나타낸다.
도 6의 A 내지 C는 종래의 감시 비디오 시퀀스로부터 정적 및 동적 대상 특징들 모두의 추출을 보여주는 모범적인 일련의 영상들을 나타낸다.
도 7은 종래의 비디오 시퀀스를 신체 일부 특정 모션 프로파일(Body Part Specific Motion Profiles)로 변환하는 것을 보여주는 모범적인 일련의 영상들을 나타낸다.
도 8은 신체 일부 특정 모션 프로파일이 신체 일부 특정 주파수 계수의 하나 이상의 집합으로 변환될 수 있고, 이때 신체 일부별로 그룹화된 BPSFC로 구성된 상기 대상에 대한 모션 서명 벡터(MSV)로 집합화되는 방법의 단계들을 포함하는 흐름도를 나타낸다.
예시의 단순화 및 명확화를 위해, 본 도면에서 나타나는 구성요소들의 크기가 반드시 크기를 조절하여 도시되지 않았음을 인식할 것이다. 예를 들어, 구성요소들의 일부의 크기는 명확화를 위해 다른 구성요소들에 비해 부풀려질 수 있다. 나아가, 적절하다고 고려되는 부분에서, 도면부호는 대응하는 또는 유사한 구성요소를 지시하도록 도면들 내에서 반복될 수 있다.
도 1a는 비디오 획득 서브-서브시스템, 비디오 분석 서브-시스템, 대상 또는 카테고리 식별 서브-시스템, 및 대상 응답 서브-시스템을 포함하는 실시예들에 따른 모범적인 비디오에 기초한 대상 프리전스 응답 시스템(Subject Presence Response System: SPRS)의 기능적 블록 다이어그램이다.
도 1b는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 포괄적 동작 방법의 단계들을 포함하는 흐름도이며, 상기 포괄적 동작은 상기 대상을 식별하거나 분류하기 위해 대상/카테고리 지시자 데이터베이스를 참조하고, 획득된 비디오 시퀀스 내에서 상기 대상의 식별 또는 분류에 응답하기 위해 대상/카테고리 참조 데이터베이스를 참조하여, 비디오 시퀀스 내에서 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 1c는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 대상 등록 방법의 단계들을 포함하는 흐름도이며, 상기 등록 동작은 상기 주어진 대상에 관한 하나 이상의 기록들을 상기 추출된 특징들로 갱신하고, 대상/타입 프로파일 데이터베이스 내의 하나 이상의 기록들을 상기 주어진 대상의 장래 탐지에서 유발되는 응답을 나타내는 데이터로 갱신하여, 주어진 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 2는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 보안 관련한 동작의 단계들을 포함하는 흐름도이며, 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하거나 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 보안 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 3은 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 환경 관련한 동작의 단계들을 포함하는 흐름도이며, 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하고 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 환경 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 4는 실시예들에 따른 대상 프리전스 응답 시스템(SPRS)의 콘텐트 프리젠테이션(content presentation) 관련한 동작의 단계들을 포함하는 흐름도이며, 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하거나 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 콘텐트 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다.
도 5는 (1) 정적 및 동적 특징이 비디오 시퀀스로부터 추출될 수 있고, (2) 본 발명의 실시예들에 따라 대상 지시자들이 생성되고, 참조 지시자들로서 사용되거나 참조 지시자들과 함께 사용되는 과정의 단계들을 포함하는 흐름도를 나타낸다.
도 6의 A 내지 C는 종래의 감시 비디오 시퀀스로부터 정적 및 동적 대상 특징들 모두의 추출을 보여주는 모범적인 일련의 영상들을 나타낸다.
도 7은 종래의 비디오 시퀀스를 신체 일부 특정 모션 프로파일(Body Part Specific Motion Profiles)로 변환하는 것을 보여주는 모범적인 일련의 영상들을 나타낸다.
도 8은 신체 일부 특정 모션 프로파일이 신체 일부 특정 주파수 계수의 하나 이상의 집합으로 변환될 수 있고, 이때 신체 일부별로 그룹화된 BPSFC로 구성된 상기 대상에 대한 모션 서명 벡터(MSV)로 집합화되는 방법의 단계들을 포함하는 흐름도를 나타낸다.
예시의 단순화 및 명확화를 위해, 본 도면에서 나타나는 구성요소들의 크기가 반드시 크기를 조절하여 도시되지 않았음을 인식할 것이다. 예를 들어, 구성요소들의 일부의 크기는 명확화를 위해 다른 구성요소들에 비해 부풀려질 수 있다. 나아가, 적절하다고 고려되는 부분에서, 도면부호는 대응하는 또는 유사한 구성요소를 지시하도록 도면들 내에서 반복될 수 있다.
이하, 상세한 설명에서는 많은 특정 세부내용들이 본 발명의 철저한 이해를 제공하기 위해 개시된다. 그러나, 본 발명이 이러한 특정 세부내용들 없이 실시될 수 있다는 것은 당해 기술에서 숙련된 기술자들에 의해 이해될 것이다. 다른 예시들에서 잘 알려진 방법, 절차, 구성요소 및 회로는, 본 발명을 모호하게 하지 않게 하기 위하여 세부내용에 기재되지 않을 것이다.
그 외 구체적으로 명시되지 않았더라도, 이하의 논의로부터 명백하게, "공정", "컴퓨팅", "계산", "결정", 또는 이와 유사한 것들과 같은 용어들을 이용하는 명세서 논의 전체는 컴퓨팅 시스템의 레지스터들 및/또는 메모리들 내의 전자적인 것과 같은 물리적 양들을 상기 컴퓨팅 시스템의 메모리들, 레지스터들 또는 그 외 유사한 정보 저장장치, 전송 또는 디스플레이 기기들 내에서의 물리적 양으로서 유사하게 표현되는 다른 데이터로 조절하거나 변형하는 컴퓨터나 컴퓨팅 시스템, 또는 유사한 전자적 컴퓨팅 기기의 동작 및/또는 과정을 언급하는 것으로 인식된다.
본 발명의 실시예들은, 여기서의 동작들을 수행하기 위한 장치들을 포함할 수 있다. 이 장치는 기대되는 목적들을 위해 특별히 구성될 수 있거나, 컴퓨터에 저장되는 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 일반 목적의 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광학 디스크, CD-ROMs, 광자기 디스크, ROMs, RAMs, EPROMs, EEPROMs, 자기 또는 광학 카드, 또는 전자적 지시들을 저장하기에 적합한 임의의 다른 타입의 미디어, 및 컴퓨터 시스템 버스에 결합할 수 있는 것들을 포함하는 임의의 타입의 디스크에 한정하지 않고, 이와 같은 컴퓨터 판독가능한 저장 미디어에 저장될 수 있다.
여기서 묘사되는 과정과 디스플레이는 어떤 특정한 컴퓨터 또는 다른 장치들에 본질적으로 결부되지 않는다. 다양한 일반 목적 시스템들이 여기서 알려주는 내용에 따르는 프로그램으로써 사용될 수 있으나, 기대되는 방법을 수행하기 위해서는 더욱 전문화된 장치를 구성하는 것이 편리하다는 것을 증명할 수 있다. 여러가지의 이러한 시스템들을 위해 기대되는 구조는 아래 설명에 나타날 것이다. 게다가, 본 발명의 실시예들은 어떤 특정한 프로그래밍 언어에 관련하여 기재되지 않는다. 여러가지 프로그래밍 언어가 여기서 기재된 본 발명에서 알려주는 내용을 구현하도록 사용될 수 있음이 인식될 것이다.
본 발명은 비디오에 기초한 대상 특성화, 분류, 식별, 및/또는 프리전스 응답을 제공하기 위한 방법, 시스템, 장치, 회로 및 관련한 컴퓨터 실행가능한 코드를 포함한다. 추가적인 실시예들에 따르면, 대상에 관하여 시각적으로 탐지된 특징들 및/또는 지시자들에 기초하여 상기 대상의 경험을 커스터마이즈(customize)하도록 적응되는 시스템들이 제공될 수 있다. 몇몇 실시예들에 따르면, 카메라들, 비디오 회로 및 포트들, 대상(예를 들어, 사람, 어른, 아이 등)의 영상들의 집합을 획득하도록 적응될 수 있는 것을 포함할 수 있는 하나 이상의 비디오 획득 서브-시스템들이 제공된다. 상기 하나 이상의 비디오 획득 서브-시스템들은 필수적 또는 그렇지 않다면 기능적으로 비디오 분석 서브-시스템과 연관될 수 있으며, 상기 비디오 분석 서브-시스템은 다양한 영상 처리 모듈들, 로직 및 회로들, 및 상기 획득된 영상들의 집합으로부터 하나 이상의 시각적으로 탐지할 수 있는 대상 특징들, 즉 높이, 너비, 부피, 팔다리 사이즈, 팔다리 사이즈의 비율, 몸통 사이즈 대비 팔다리 비율, 다른 팔다리들과 팔다리 부분들 간의 모션 각도 범위, 팔다리 부분들과 몸통 간의 모션 각도 범위, 머리 사이즈, 머리 움직임, 머리카락 색깔 및 모양, 안면 특징들, 의복 타입 및 배치, 독특한 착용가능한 악세사리들과 같은 동적 및/또는 정적인 것들을 추출, 추론, 또는 추산하도록 적응될 수 있는 것들을 포함할 수 있다. 상기 추출된 대상 특징들은 상기 대상의 (1) 나이, (2) 성별, (3) 민족, (4) 데모그래픽(demographic), (5) 신체적 특징, (6) 모션 특징, (7) 신체 조건, (8) 정신 상태, (9) 및 현재 의도(들)를 나타내는 하나 이상의 대상 지시자들 또는 대상 파라미터들을 생성하도록 분석되고 특성화/수량화될 수 있다. 상기 대상의 동적(모션) 특징들로부터 유래된 몇몇 지시자들 또는 지시자들의 집합들은 모션 주파수 계수들을 포함하는 신체 일부 모션 프로파일들, 신체 일부 모션 프로파일들의 조합들, 및 그들의 파생물을 포함할 수 있다.
대상 식별/분류 서브-시스템은 상기 추출된 대상 지시자들을 수신하고, 대상 지시자들의 지시자 참조 데이터베이스에 접속하고, 그 영상이 비디오 시퀀스 내에 존재하는 대상을 식별 및/또는 분류하도록 적응되는 모듈들, 로직 및 회로들로 구성될 수 있다. 상기 식별/분류 서브-시스템은 상기 수신된 대상 지시자들을 상기 지시자 참조 데이터베이스 내의 참조 대상/분류 지시자들과 연관되도록 시도할 수 있다. 상기 참조 데이터베이스 내에 저장된 상기 참조 대상 지시자들은 특정 대상(예를 들어, Dor Givon이라는 이름의 개인), 또는 대상들의 그룹, 타입 또는 분류(예를 들어, 남성, 아시안, 어른)와 연관될 수 있다.
수신된 대상 지시자들의 집합과 상기 참조 데이터베이스에 저장된 참조 지시자들 간의 연관관계는 완전하거나 불완전할 수 있다. 임의의 상황에서, 추적되는 대상(개인)에 대해 수신된 대상 지시자들의 집합은 상기 참조 데이터베이스 내에 그 대상에 대해 저장된 참조 지시자들의 집합보다 작을 수 있다. 이러한 경우, 상기 수신된 지시자들과 상기 참조 지시자들간의 부분적인 매칭(match)이 식별 또는 분류(선택적으로: 오직 상응하는 지시자들간의 매칭이 충분히 높은 한)에 충분할 수 있다. 다른 사례에서, 추적되는 대상(개인)에 대한 수신된 대상 지시자들의 집합은 상기 참조 데이터베이스 내에 그 대상에 대해 저장된 참조 지시자들의 집합보다 클 수 있다. 이러한 경우, 일단 상기 수신된 지시자들과 상기 참조 지시자들간 매칭이 이루어지고(선택적으로: 오직 상응하는 지시자들간의 매칭이 충분히 높을 때), 상기 개인 대상이 식별되면, 상기 참조 지시자 데이터베이스 내의 그 대상의 기록들은 상기 분석 서브-시스템으로부터 수신된 새롭고 및/또는 갱신된 대상 지시자들을 포함하도록 갱신될 수 있다.
대상 식별 또는 분류화에 기초하여, 대상 응답 서브-시스템이 다음 중 하나 이상을 변경하거나 유발(trigger)시킬 수 있다.
(1) 구내 또는 구내 가까이, 주위 또는 주변에 근접한, 또는 그 외 대상과 관련하여 주어지는 미디어 및/또는 콘텐트; (2) 구내, 주위, 주변에 근접한, 또는 그 외 상기 대상과 관련한 하나 이상의 환경적 조건들; 및 (3) 구내, 주위, 또는 주변에 근접한, 또는 그 외 상기 대상과 관련한 보안 지위 및 조건.
명확히 식별된 대상들 또는 특정 그룹에 속하는 것으로 분류되는 대상 또는 특정 타입의 대상들에 대한 응답은 기능적으로 연관된 응답 데이터베이스 내에 저장된 프로파일 또는 규칙-집합(rule-set)에 기초될 수 있다.
몇몇 실시예들에 따르면, 시각적으로 탐지된 특징들은 정적 및/또는 동적 특징들일 수 있다. 정적 또는 동적 특징들의 임의의 조합은 대상 지시자 또는 대상 파라미터를 추산하기 위해 획득되고 분석될 수 있다. 상기 획득된 정적/동적 특징들 또는 그들의 조합은 상기 대상의 높이, 너비, 부피, 팔다리 사이즈, 팔다리 사이즈의 비율, 몸통 사이즈 대비 팔다리 비율, 몸통 움직임, 다른 팔다리들과 팔다리 부분들 간의 모션 각도 범위, 팔다리 부분들과 몸통 간의 모션 각도 범위, 머리 사이즈, 머리 움직임, 머리카락 색깔 및 모양, 안면 특징들, 의복 타입 및 배치, 독특한 착용가능한 악세사리들을 포함할 수 있다. 오늘날 알려진 또는 미래에 발견되거나 창안될 어떠한 다른 시각적으로 탐지가능한 특징들 또는 특징들의 조합이 본 발명에 적용가능하다.
본 발명의 추가적 실시예들은 대상의 모션 다이내믹스(motion dynamics)와 같은 시각적으로 탐지가능한 대상의 동적 특징들에 기초하여 비디오에 기초한 개개인의 감시, 식별 및/또는 분류를 제공하기 위한 방법, 회로, 장치, 시스템 및 관련한 컴퓨터 실행가능한 코드를 포함할 수 있다. 몇몇 실시예들에 따르면, 비디오 시퀀스 내에 주어진 개인 이동 요소의 시공간적 특성은 (1) 하나 이상의 신체 일부 특정 모션 프로파일(Body Part Specific Motion Profiles: BPSMP), 및 또는 (2) 신체 일부 특정 주파수 계수(body Part Specific Frequency Coefficients: BPSFC)의 집합으로 전환될 수 있다. BPSMP 또는 주파수 계수 중 하나는 대상 지시자들로 저장되어, 또 다른 비디오 시퀀스 내에서 상기 주어진 대상/개인의 또 다른 요소를 식별하기 위한 참조(들)로서 사용될 수 있다. 추가적인 실시예들에 따르면, 비디오 시퀀스 내에서 개인의 하나 이상의 팔다리들, 몸통 및 선택적으로 머리/목(신체 일부들로써 언급됨)은 개인이 움직이는 동안 개별적으로 추적될 수 있다. 신체 일부 움직임의 추적은 상기 추적된 신체 일부들 중 하나 이상에 대한 모션 프로파일(예를 들어, BPSFC)을 생성하기 위해 분석되고 사용될 수 있다. 상기 신체 일부 특정 모션 프로파일은 상기 대상이 걷거나, 뛰거나, 또는 그 외 이동하는 동안 신체 일부 모션의 패턴이 재발하는 것을 나타낼 수 있다. 게다가, 상기 모션 프로파일 중 하나 이상은 상기 추적된 신체 일부 각각에 대한 모션 관련한 주파수 계수 또는 그 집합을 생성하도록 사용될 수 있다. 주어진 신체 일부와 연관된 모션 관련된 주파수 계수는 신체 일부 특정 주파수 계수로 언급될 수 있으며, 하나 이상의 BPSFC는 각각의 추적된 신체 일부에 대해 생성될 수 있다. 각각의 주어진 추적된 팔다리/몸통/머리에 대한 상기 하나 이상의 BPSFC는 상기 개인 대상이, 예를 들어 걷거나 뛰는 동안의, 움직임 중일 경우, 상기 주어진 추적된 부분 내에 존재하는 시공간적 패턴들 (예를 들어, 주기적/반복적 이동)을 나타낼 수 있다.
개인의 신체 일부 특정 모션 프로파일(BPSMP) 또는 그 집합(예를 들어, (1) 오른쪽 팔, 오른쪽 다리, 및 머리; (2) 오른쪽 팔, 왼쪽 팔, 왼쪽 다리, 및 오른쪽 어깨)은 모션 서명 벡터(Motion Signature Vector: MSV)의 일부로서 저장되고, 색인되고, 후에 참조될 수 있다. 동일한 주어진 개인의 다른 신체 일부들에 관한 BPSFC의 조합 또는 집합(예를 들어, (1) 오른쪽 팔, 오른쪽 다리, 및 머리; (2) 오른쪽 팔, 왼쪽 팔, 왼쪽 다리, 및 오른쪽 어깨)이 상기 동일한 주어진 개인에 대해 동일하거나 또 다른 모션 서명 벡터(MSV)의 일부로서 저장되고, 색인되고, 후에 참조될 수 있다. 따라서, 저장된 참조 MSV의 상응하는 BPSMP 및/또는 BPSFC와 비디오 추적되는 개인으로부터 유래된 상응하는 프로파일들 및/또는 BPSFC 간의 매칭 또는 부분적인 매칭은 비디오 추적되는 사람이 상기 참조 MSV의 원천이었던 사람과 동일한 사람이라는 점을 나타낼 수 있다.
참조 BPSMP 값 범위와 참조 BPSFC 값 범위, 또는 그들의 임의의 조합은 나이 범위, 성별, 인종 등을 포함하는 특정한 대상 분류를 나타낼 수 있다. 따라서, 주어진 대상의 비디오 시퀀스로부터 유래된 MSV와, 특정 카테고리(예를 들어, 나이 범위, 성별, 인종 등)와 관련되어 정의된 특정 참조 범위 내의 BPSMP 값들 및/또는 BPSFC 값들을 포함하는 것은 상기 비디오 시퀀스 내의 상기 주어진 대상이 상기 특정 카테고리(예를 들어, 나이 범위, 성별, 인종 등)에 속한다는 것을 나타낼 수 있다.
이제 도 1a를 보면, 비디오 획득 서브-서브시스템, 비디오 분석 서브-시스템, 대상 또는 카테고리 식별 서브-시스템, 및 대상 응답 서브-시스템을 포함하는 실시예에 따른 모범적인 비디오에 기초한 대상 프리전스 응답 시스템의 기능적 블록 다이어그램이 나타난다. 도 1a의 시스템의 동작은 도 1b와 함께 설명될 수 있으며, 도 1b는 실시예들에 따른 대상 프리전스 응답 시스템의 포괄적 동작 방법의 단계들을 포함하는 흐름도이다. 상기 포괄적 동작은 상기 대상을 식별하고 분류하기 위해 대상/카테고리 지시자 데이터베이스를 참조하고, 획득된 비디오 시퀀스 내에서 상기 대상의 식별 또는 분류에 응답하기 위해 대상/카테고리 참조 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다. 보다 구체적으로, 상기 비디오 분석 서브-시스템은 비디오 시퀀스의 하나 이상의 프레임들로부터 특징들을 추출하기 위해 영상 처리 알고리즘 또는 그 집합을 채용할 수 있다. 어떠한 알고리즘들은 프레임 기반으로 프레임 상의 머리, 어깨, 팔, 다리 등의 대상 특징들을 프레임별로 식별할 수 있으며, 반면 다른 알고리즘들은 연이은 프레임들에 걸쳐 특정한 대상 특징들의 움직임을 추적할 수 있다. 논-모션(Non-motion) 관련한 대상 특징들은 정적 특징들로 언급될 수 있으며, 반면 움직임 관련한 특징들은 동적 특징들로 언급될 수 있다.
상기 분석 서브-시스템은 또한 대상의 하나 이상의 정적 및/또는 동적 특징들을 분석하고, 상기 특징들을 하나 이상의 대상 지시자로 수량화하도록 적응되는 대상 지시자 생성 모듈을 포함한다. 이때, 대상 식별/분류 서브-시스템은 비디오 시퀀스 내의 대상에 대해 생성된 상기 지시자들이 다양한 개인들 및/또는 개개인의 다양한 타입/카테고리들과 연관된 지시자 집합들을 포함하는 데이터베이스를 참조하도록 사용할 수 있다. 대상 프리전스 응답 서브-시스템은 상기 비디오 시퀀스 내 적절한 상기 대상의 존재를 유발하기 위한 응답을 결정하기 위해 데이터베이스 내의 식별된 개인 대상 또는 대상들의 분류를 참조한다.
이제 도 1c를 보면, 실시예들에 따른 대상 프리전스 응답 시스템의 대상 등록 방법의 단계들을 포함하는 흐름도가 나타난다. 상기 등록 동작은 상기 주어진 대상에 관한 하나 이상의 기록들을 상기 추출된 특징들로 갱신하고, 대상/타입 프로파일 데이터베이스 내의 하나 이상의 기록들을 상기 주어진 대상의 장래 탐지를 유발하는 응답을 나타내는 데이터로 갱신하여, 주어진 대상의 정적 및/동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다. 비디오 시퀀스로부터 유래된 지시자들이 참조 데이터베이스 내의 참조 지시자들과 충분히 연관되거나 충분히 부합하지 않는 상황에서, 상기 시스템은 새로운 개인 대상에 대한 새로운 기록들을 완전하게 만들어내거나, 및/또는 이미 존재하는 대상의 기록들에 지시자들을 갱신하거나 부가할 수 있다.
이제 도 2를 보면, 실시예들에 따른 대상 프리전스 응답 시스템의 보안 관련한 동작의 단계들을 포함하는 흐름도가 나타난다. 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하거나 분류하기 위하여 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 보안 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다. 응답을 위한 옵션들은 비상 경보 신호(Issuing Alarm Signals), 장애 경보 시스템, 변경 경보 시스템, 잠금 또는 열림 문들을 포함한다.
이제 도 3을 보면, 실시예들에 따른 대상 프리전스 응답 시스템의 환경 관련한 동작의 단계들을 포함하는 흐름도가 나타난다. 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하거나 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 환경 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다. 몇몇 실시예들에 따르면, 빛, 온도, 및/또는 배경음악과 같은 환경적 조건은 특정한 환경 우선권을 사전 정의한 특정 개인의 신원에 기초하여 유발되거나 및/또는 변화될 수 있다.
이제 도 4를 보면, 실시예들에 따른 대상 프리전스 응답 시스템의 콘텐트 프리젠테이션 관련된 동작의 단계들을 포함하는 흐름도가 나타난다. 상기 동작은 대상 지시자들을 생성하고, 상기 대상을 식별하거나 분류하기 위해 지시자 참조 데이터베이스를 참조하고, 상기 획득된 비디오 시퀀스 내 상기 대상의 식별 또는 분류에 응답하기 위해 콘텐트 프로파일 데이터베이스를 참조하여, 비디오 시퀀스 내 대상의 정적 및/또는 동적인 가시적으로 탐지가능한 특징들을 추출하기 위한 비디오 분석을 포함한다. 몇몇 실시예들에 따르면, 개인의 신원은 상기 개인에 의해 사전 정의된 콘텐트의 제공을 유발할 수 있다. 추가적인 실시예들에 따르면, 대상들의 몇몇 타입 또는 카테고리에 속하는 대상의 신원이, 광고나 통지와 같이, 광고주와 같은 제3자에 의해 사전 정의된 콘텐트의 제공을 유발할 수 있다.
이제 도 5를 보면, (1) 정적 및 동적 특징이 비디오 시퀀스로부터 추출될 수 있고, (2) 본 발명의 실시예들에 따라 대상 지시자들이 생성되고, 참조 지시자들로서 사용되거나 참조 지시자들과 함께 사용되는 과정의 단계들을 포함하는 흐름도를 나타낸다. 상기 도 5의 단계들은 도 6의 A 내지 C와 함께 설명될 수 있으며, 도 6의 A 내지 C는 종래의 감시 비디오 시퀀스로부터 정적 및 동적인 대상 특징들 모두의 추출을 보여주는 모범적인 일련의 영상들을 나타낸다.
도 7은 종래의 비디오 시퀀스를 신체 일부 특정 모션 프라파일들로 변환하는 것을 보여주는 모범적인 일련의 영상들을 나타낸다.
도 8은 신체 일부 특정 모션 프로파일이 신체 일부 특정 주파수 계수의 하나 이상의 집합으로 변환될 수 있고, 이때 신체 부위별로 그룹화된 BPSFC로 구성된 상기 대상에 대한 모션 서명 벡터(MSV)로 집합화되는 절차의 단계들을 포함하는 흐름도를 나타낸다.
몇몇 실시예에 따르면, (1) 비디오 시퀀스 내 대상의 요소로부터 대상 특징들을 추출하고, 상기 추출된 특징들에 기초하여 하나 이상의 대상 지시자들을 생성하기 위한 비디오 분석 모듈; (2) 상기 생성된 하나 이상의 대상 지시자들을 지시자 참조 데이터베이스 내의 참조 지시자들과 연관시키도록 적응되는 식별 또는 분류 모듈로서, 특정한 참조 지시자들의 집합들은 특정 대상 또는 대상들의 그룹 중 하나와 연관되는, 상기 식별 또는 분류 모듈; 및 (3) 특정한 대상 또는 대상들의 그룹의 식별에의 시스템 응답을 생성하도록 적응되는 프리전스 응답 모듈;을 포함하는 비디오에 기초한 대상 응답 시스템이 제공된다. 상기 지시자는 적어도 하나의 신체 일부 특정 모션 프로파일을 포함할 수 있다. 상기 지시자는 적어도 하나의 신체 일부 특정 주파수 계수를 포함할 수 있다.
추가적인 실시예들에 따르면, 상기 시스템은 비디오 획득 서브-시스템을 포함할 수 있으며, 상기 프리전스 응답 모듈은 상기 시스템과 관련한 위치의 보안 조건을 변경하고자 하는 신호들을 생성하도록 적응될 수 있다. 참조 지시자들의 집합은 특정한 금지되거나 제한된 대상들의 그룹 또는 집합과 연관될 수 있다.
추가적인 실시예들에 따르면, 상기 시스템은 비디오 획득 서브-시스템을 포함할 수 있으며, 상기 프리전스 응답 모듈은 상기 시스템과 관련한 위치의 환경 조건을 변경하고자 하는 신호들을 생성하도록 적응될 수 있다. 참조 지시자들의 집합은 가족 집단 구성원과 관련될 수 있다.
추가적인 실시예들에 따르면, 상기 시스템은 비디오 획득 서브-시스템을 포함할 수 있으며, 상기 프리전스 응답 모듈은 상기 시스템과 관련한 디스플레이 상에 제공하는 콘텐트를 유발하거나 변경시키기 위한 신호들을 생성하도록 적응될 수 있다. 참조 지시자들의 집합은 사람들의 특정한 데모그래픽(demographic)과 관련될 수 있다.
본 발명은 어떠한 특징들이 여기서 나타나거나 기재되었지만, 많은 변형, 대체, 변경, 및 등가물들이 당해 기술분야에서 숙련된 기술자들에게서 나타날 것이다. 그러므로, 첨부된 청구항들은 본 발명의 진정한 정신의 범위에 들어가는 모든 수정과 변경을 포함하고자 하는 것으로 이해될 것이다.
Claims (12)
- 비디오에 기초한 대상 응답 시스템으로서,
비디오 시퀀스 내 대상의 요소(instance)로부터 대상 특징들을 추출하고, 상기 추출된 특징들에 기초하여 하나 이상의 대상 지시자들을 생성하는 비디오 분석 모듈;
상기 생성된 하나 이상의 대상 지시자들을 지시자 참조 데이터베이스 내의 참조 지시자들과 연관시키도록 적응되는 식별 또는 분류 모듈로서, 특정한 참조 지시자들의 집합들은 특정 대상이나 대상들의 그룹 중 하나와 관련되는, 상기 식별 또는 분류 모듈; 및
특정 대상 또는 대상들의 그룹의 식별에 시스템 응답을 생성하도록 적응되는 프리전스(presence) 응답 모듈을 포함하는, 비디오에 기초한 대상 응답 시스템. - 제 1 항에 있어서,
상기 지시자들 중 적어도 하나는 대상 모션 다이내믹스(motion dynamics)를 나타내는, 비디오에 기초한 대상 응답 시스템. - 제 2 항에 있어서,
상기 대상 모션 다이내믹스는 적어도 하나의 신체 일부 특정 모션 프로파일을 포함하는, 비디오에 기초한 대상 응답 시스템. - 제 2 항에 있어서,
상기 대상 모션 다이내믹스는 적어도 하나의 신체 일부 특정 주파수 계수를 포함하는, 비디오에 기초한 대상 응답 시스템. - 제 1 항에 있어서,
비디오 획득 서브-시스템을 더 포함하고,
상기 프리전스 응답 모듈은 상기 시스템과 관련된 위치의 보안 조건을 변경시키고자 하는 신호를 생성하도록 적응되는, 비디오에 기초한 대상 응답 시스템. - 제 5 항에 있어서,
참조 지시자들의 집합은 특정한 금지되거나 제한된 대상들의 그룹이나 집합과 관련된, 비디오에 기초한 대상 응답 시스템. - 제 1 항에 있어서,
비디오 획득 서브-시스템을 더 포함하고,
상기 프리전스 응답 모듈은 상기 시스템과 관련된 위치의 환경 조건을 변경시키고자 위한 신호를 생성하도록 적응되는, 비디오에 기초한 대상 응답 시스템. - 제 7 항에 있어서,
참조 지시자들의 집합은 가족 집단 구성원과 관련된, 비디오에 기초한 대상 응답 시스템. - 제 1 항에 있어서,
비디오 획득 서브-시스템을 더 포함하고,
상기 프리전스 응답 모듈은 상기 시스템과 관련된 디스플레이 상에 제공되는 콘텐트를 유발(trigger)하거나 변경시키기 위한 신호를 생성하도록 적응되는, 비디오에 기초한 대상 응답 시스템. - 제 9 항에 있어서,
참조 지시자들의 집합은 사람들의 특정한 데모그래픽(demographic)과 관련된, 비디오에 기초한 대상 응답 시스템. - 제 1 항에 있어서,
상기 식별 또는 분류 모듈은 상기 생성된 하나 이상의 대상 지시자들과 참조 지시자들의 집합 간의 부분적 매칭(match)을 수행하도록 적응되는, 비디오에 기초한 대상 응답 시스템. - 제 11 항에 있어서,
상기 식별 또는 분류 모듈은 참조 지시자들의 집합을 갱신하거나 부가하도록 적응되는, 비디오에 기초한 대상 응답 시스템.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IL2012/050562 WO2013069023A2 (en) | 2011-11-13 | 2012-12-31 | Methods systems apparatuses circuits and associated computer executable code for video based subject characterization, categorization, identification and/or presence response |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150091441A true KR20150091441A (ko) | 2015-08-11 |
Family
ID=52144944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147015897A Withdrawn KR20150091441A (ko) | 2012-12-31 | 2012-12-31 | 비디오에 기초한 대상 특성화, 분류, 식별 및/또는 프리전스 응답(presence response)을 위한 방법, 시스템, 장치, 회로 및 관련한 컴퓨터 실행가능한 코드 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2014533851A (ko) |
| KR (1) | KR20150091441A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359973A (zh) * | 2022-03-04 | 2022-04-15 | 广州市玄武无线科技股份有限公司 | 基于视频的商品状态识别方法、设备及计算机可读介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462754B2 (ja) * | 1998-05-21 | 2003-11-05 | 日本マイクロシステムズ株式会社 | 監視装置 |
| EP1472869A4 (en) * | 2002-02-06 | 2008-07-30 | Nice Systems Ltd | SYSTEM AND METHOD FOR DETECTION, MONITORING AND ALARM MANAGEMENT BASED ON VIDEO CONTENT ANALYSIS |
| JP2006136430A (ja) * | 2004-11-10 | 2006-06-01 | Kyushu Institute Of Technology | 評価関数生成方法及び個人識別装置並びに個人識別方法 |
| US20140156398A1 (en) * | 2011-04-11 | 2014-06-05 | Jianguo Li | Personalized advertisement selection system and method |
| JP5923723B2 (ja) * | 2011-06-02 | 2016-05-25 | パナソニックＩｐマネジメント株式会社 | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 |
-
2012
- 2012-12-31 JP JP2014540636A patent/JP2014533851A/ja active Pending
- 2012-12-31 KR KR1020147015897A patent/KR20150091441A/ko not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014533851A (ja) | 2014-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9251422B2 (en) | Methods systems apparatuses circuits and associated computer executable code for video based subject characterization, categorization, identification and/or presence response | |
| US11295139B2 (en) | Human presence detection in edge devices | |
| CN109598229B (zh) | 基于动作识别的监控系统及其方法 | |
| WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| GB2608975A (en) | Person identification across multiple captured images | |
| Gowsikhaa et al. | Suspicious Human Activity Detection from Surveillance Videos. | |
| US20150071492A1 (en) | Abnormal behaviour detection | |
| CN110688980B (zh) | 基于计算机视觉的人体姿态分类方法 | |
| CN111062356A (zh) | 一种从监控视频自动识别人体动作异常的方法 | |
| Do et al. | Real-time and robust multiple-view gender classification using gait features in video surveillance | |
| US20240321009A1 (en) | Computer-readable recording medium storing information processing program, information processing method, and information processing apparatus | |
| EP4207097A1 (en) | Information processing program, information processing method, and information processing apparatus | |
| US20230206693A1 (en) | Non-transitory computer-readable recording medium, information processing method, and information processing apparatus | |
| US20230206639A1 (en) | Non-transitory computer-readable recording medium, information processing method, and information processing apparatus | |
| US20230206694A1 (en) | Non-transitory computer-readable recording medium, information processing method, and information processing apparatus | |
| CN107085729A (zh) | 一种基于贝叶斯推断的人员检测结果修正方法 | |
| Bouachir et al. | Automated video surveillance for preventing suicide attempts | |
| Fernando et al. | Computer vision based privacy protected fall detection and behavior monitoring system for the care of the elderly | |
| Gatea et al. | Deep learning neural network for driver drowsiness detection using eyes recognition | |
| KR20150091441A (ko) | 비디오에 기초한 대상 특성화, 분류, 식별 및/또는 프리전스 응답(presence response)을 위한 방법, 시스템, 장치, 회로 및 관련한 컴퓨터 실행가능한 코드 | |
| US20230206641A1 (en) | Storage medium, information processing method, and information processing apparatus | |
| Dayangac et al. | Object recognition for human behavior analysis | |
| Patel et al. | Indoor human fall detection using deep learning | |
| Ansari et al. | Decoding Human Activities: Algorithms, Frameworks, and Challenges in Recognition Systems | |
| Li et al. | Abnormal Driving Detection Algorithm Based on Improved YOLO-v8 with Self-attention and GOLD-YOLO Mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20140611 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| PC1203 | Withdrawal of no request for examination | ||
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |