[go: up one dir, main page]

KR102432806B1 - 감시 시스템 및 그 제어 방법 - Google Patents

감시 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR102432806B1
KR102432806B1 KR1020150148829A KR20150148829A KR102432806B1 KR 102432806 B1 KR102432806 B1 KR 102432806B1 KR 1020150148829 A KR1020150148829 A KR 1020150148829A KR 20150148829 A KR20150148829 A KR 20150148829A KR 102432806 B1 KR102432806 B1 KR 102432806B1
Authority
KR
South Korea
Prior art keywords
information
beacon
image
monitoring target
network camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150148829A
Other languages
English (en)
Other versions
KR20170048006A (ko
Inventor
이활석
배순민
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150148829A priority Critical patent/KR102432806B1/ko
Priority to US15/185,225 priority patent/US10341616B2/en
Priority to CN201610620968.3A priority patent/CN106612417B/zh
Publication of KR20170048006A publication Critical patent/KR20170048006A/ko
Priority to KR1020220099798A priority patent/KR102574910B1/ko
Application granted granted Critical
Publication of KR102432806B1 publication Critical patent/KR102432806B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

본 발명의 일 실시예에 따른 감시 시스템은, 소정 영역을 촬영하는 카메라; 제1 비콘 신호를 전송하고, 비콘 단말로부터 제2 비콘 신호를 수신하며, 비콘 정보 및 영상 정보를 서버에 전송하는 통신 인터페이스; 및 상기 제2 비콘 신호를 수신하면, 상기 비콘 정보 및 상기 영상 정보를 생성하는 프로세서;를 포함하는 네트워크 카메라를 포함하고, 상기 제2 비콘 신호는 상기 제1 비콘 신호에 대응되고, 상기 비콘 정보는 상기 비콘 단말의 위치 정보를 포함하며, 상기 영상 정보는 상기 비콘 단말을 소지한 감시 대상을 촬영한 영상을 포함한다.

Description

감시 시스템 및 그 제어 방법{Surveillance system and method of controlling the same}
본 발명은 감시 시스템 및 그 제어 방법에 관한 것이다.
최근 들어, 방범, 보안, 매장 관리 등 다양한 목적으로 건물 내부나 외부, 길거리 등에 카메라를 설치하는 경우가 증가하고 있다. 이러한 카메라는 유선 또는 무선으로 네트워크를 통하여 서로 연결되어 네트워크 카메라로서의 기능을 수행할 수 있다.
또한 카메라가 설치된 장소를 관리하는 관리자는 개인용 컴퓨터 등을 통하여 카메라에 접속하여 원격으로 건물이나 매장 등의 원격지를 관리할 수 있다.
한국공개특허공보 2010-0114748
종래의 근거리 통신 장치 중 비콘 단말은 비콘 단말간의 거리를 측정함으로써 비콘 단말을 소지한 사람의 위치는 파악할 수 있으나, 비콘 단말을 소지한 사람이 처한 상황은 파악할 수 없다.
본 발명이 해결하고자 하는 과제는 네트워크 카메라에 접근하는 감시 대상의 위치 및 감시 대상이 처한 상황에 대한 정보를 제공함으로써, 감시 대상을 효율적으로 감시할 수 있는 감시 시스템 및 그 제어 방법을 제공하는데 있다.
본 발명의 실시예들이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 이하의 실시예들로부터 또 다른 과제들이 유추될 수 있다.
본 발명의 일 실시예에 따른 감시 시스템은, 소정 영역을 촬영하는 카메라; 제1 비콘 신호를 전송하고, 비콘 단말로부터 제2 비콘 신호를 수신하며, 비콘 정보 및 영상 정보를 서버에 전송하는 통신 인터페이스; 및 상기 제2 비콘 신호를 수신하면, 상기 비콘 정보 및 상기 영상 정보를 생성하는 프로세서;를 포함하는 네트워크 카메라를 포함하고, 상기 제2 비콘 신호는 상기 제1 비콘 신호에 대응되고, 상기 비콘 정보는 상기 비콘 단말의 위치 정보를 포함하며, 상기 영상 정보는 상기 비콘 단말을 소지한 감시 대상을 촬영한 영상을 포함한다.
상기 통신 인터페이스는, 근거리 무선 통신을 통해 상기 비콘 단말과 통신하고, 무선 통신 또는 유선 통신을 통해 네트워크에 연결되어 상기 서버와 통신할 수 있다.
상기 통신 인터페이스는, BLE(Bluetooth Low Energy)를 이용하여 상기 근거리 무선 통신을 수행할 수 있다.
상기 비콘 정보는, 상기 네트워크 카메라를 식별하는 네트워크 카메라 아이디, 상기 비콘 단말을 식별하는 비콘 단말 아이디, 및 상기 감시 대상이 감지된 시점을 나타내는 시간 정보 중 적어도 하나를 더 포함할 수 있다.
상기 시간 정보는, 상기 제1 비콘 신호를 전송한 시간 또는 상기 제2 비콘 신호를 수신한 시간을 포함할 수 있다.
상기 비콘 단말의 위치 정보는, 상기 네트워크 카메라와 상기 비콘 단말 사이의 거리를 포함할 수 있다.
본 발명의 다른 실시예에 따른 감시 시스템은, 비콘 단말 또는 네트워크 카메라로부터 비콘 정보를 수신하고, 상기 네트워크 카메라로부터 영상 정보를 수신하며, 감시 대상 위치 정보를 클라이언트 단말에 전송하는 통신 인터페이스; 및 상기 비콘 정보 및 상기 영상 정보를 이용하여 상기 감시 대상 위치 정보를 생성하는 프로세서;를 포함하는 서버를 포함하고, 상기 비콘 정보는 상기 비콘 단말의 위치 정보를 포함하고, 상기 영상 정보는 상기 비콘 단말을 소지한 감시 대상을 촬영한 영상이다.
상기 비콘 정보는 상기 감시 대상이 감지된 시점을 나타내는 제1 시간 정보를 포함하고, 상기 영상 정보는 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보를 포함하며, 상기 프로세서는, 상기 제1 시간 정보와 상기 제2 시간 정보를 이용하여 상기 비콘 정보와 상기 영상 정보를 매칭시키고, 상기 영상 정보로부터 상기 감시 대상을 검출하고, 영상 내에서 상기 감시 대상을 가리키는 인디케이터를 생성하며, 상기 영상에 상기 인디케이터를 융합하여 상기 감시 대상 위치 정보를 생성할 수 있다.
상기 프로세서는, 상기 감시 대상의 좌표와 크기로 정의된 감시 대상 영역을 산출하고, 상기 감시 대상 영역을 나타내는 상기 인디케이터를 생성할 수 있다.
상기 통신 인터페이스는, 상기 클라이언트 단말로부터 상기 인디케이터를 변경하는 클라이언트 입력을 수신하고, 변경된 감시 대상 위치 정보를 상기 클라이언트 단말에 전송하고, 상기 프로세서는, 상기 클라이언트 입력에 대응하여 상기 감시 대상 영역의 크기를 변경하고, 이에 따라 감시 대상 위치 정보를 변경할 수 있다.
상기 비콘 정보는 상기 감시 대상이 감지된 시점을 나타내는 제1 시간 정보를 포함하고, 상기 영상 정보는 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보를 포함하며, 상기 프로세서는, 상기 제1 시간 정보와 상기 제2 시간 정보를 이용하여 상기 비콘 정보와 상기 영상 정보를 매칭시키고, 상기 영상 정보로부터 이벤트를 검출하고, 이벤트 검출 시점을 기준으로 미리 정해진 구간의 영상을 추출하며, 추출된 영상을 종합하여 상기 감시 대상 위치 정보를 생성할 수 있다.
상기 통신 인터페이스는, 제1 네트워크 카메라로부터 제1 영상 정보를 수신하고, 제2 네트워크 카메라로부터 제2 영상 정보를 수신하며, 제3 네트워크 카메라로부터 비콘 정보 및 제3 영상 정보를 수신하고, 감시 대상 경로 정보를 상기 클라이언트 단말에 전송하고, 상기 프로세서는, 상기 비콘 정보 및 상기 제1 영상 정보를 이용하여 제1 감시 대상 위치 정보를 생성하고, 상기 비콘 정보 및 상기 제2 영상 정보를 이용하여 제2 감시 대상 위치 정보를 생성하고, 상기 비콘 정보 및 상기 제3 영상 정보를 이용하여 제3 감시 대상 위치 정보를 생성하고, 상기 제1 내지 제3 감시 대상 위치 정보 중 적어도 하나를 이용하여 상기 감시 대상에 대한 상기 감시 대상 경로 정보를 생성하고, 상기 제1 내지 제3 영상 정보는 순차적으로 생성될 수 있다.
상기 프로세서는, 상기 제1 영상 정보로부터 이벤트를 검출하고, 상기 제1 내지 제3 영상 정보로부터 이벤트 검출 시점 이후의 영상을 추출하며, 추출된 영상을 종합하여 상기 감시 대상 경로 정보를 생성할 수 있다.
상기 프로세서는, 상기 제1 영상 정보로부터 이벤트를 검출하고, 상기 제1 영상 정보로부터 각각 이벤트 검출 시점을 기준으로 미리 정해진 구간의 영상을 추출하며, 추출된 영상으로 이루어진 상기 감시 대상 경로 정보를 생성할 수 있다.
상기 프로세서는, 상기 제1 영상 정보에 기초하여 상기 감시 대상이 처음으로 검출된 최초 영상의 최후 구간 영상을 추출하거나, 상기 제2 영상 정보에 기초하여 중간 영상의 최초 구간 영상 및 최후 구간 영상을 추출하거나, 상기 제3 영상 정보에 기초하여 상기 감시 대상이 마지막으로 검출된 최후 영상의 최초 구간 영상을 추출하고, 추출된 영상을 종합하여 상기 감시 대상 경로 정보를 생성할 수 있다.
상기 프로세서는, 상기 제1 영상 정보에 기초하여 제1 대표 영상을 추출하거나, 상기 제2 영상 정보에 기초하여 제2 대표 영상을 추출하거나, 상기 제3 영상 정보에 기초하여 제3 대표 영상을 추출하고, 추출된 영상을 종합하여 상기 감시 대상 경로 정보를 생성할 수 있다.
본 발명의 일 실시예에 따른 감시 시스템 제어 방법은, 네트워크 카메라가 비콘 단말에 제1 비콘 신호를 전송하는 단계; 상기 비콘 단말이 상기 제1 비콘 신호에 대응하는 제2 비콘 신호를 상기 네트워크 카메라에 전송하는 단계; 상기 네트워크 카메라가 상기 제2 비콘 신호에 대응하여 상기 비콘 단말의 위치 정보를 포함하는 비콘 정보 및 상기 비콘 단말을 소지한 감시 대상을 촬영한 영상을 포함하는 영상 정보를 생성하는 단계; 및 상기 비콘 정보 및 상기 영상 정보를 서버에 전송하는 단계;를 포함한다.
상기 비콘 정보는 상기 네트워크 카메라가 상기 제2 비콘 신호를 수신한 시점을 나타내는 제1 시간 정보를 포함하고, 상기 영상 정보는 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보를 포함하며, 상기 서버에 의하여, 상기 제1 시간 정보와 상기 제2 시간 정보에 기초하여 상기 비콘 정보와 상기 영상 정보가 매칭되는 단계; 상기 영상 정보로부터 상기 감시 대상이 검출되는 단계; 영상 내에서 상기 감시 대상을 가리키는 인디케이터가 생성되는 단계; 및 상기 영상에 상기 인디케이터가 융합된 감시 대상 위치 정보가 생성되는 단계;를 더 포함할 수 있다.
상기 네트워크 카메라와 상기 비콘 단말은 BLE(Bluetooth Low Energy)를 이용하여 근거리 무선 통신을 수행할 수 있다.
상기 네트워크 카메라는 무선 통신 또는 유선 통신을 통해 네트워크에 연결되어 상기 서버와 통신할 수 있다.
상술한 실시예들에 따르면, 감시 대상의 위치뿐만 아니라 감시 대상이 처한 상황에 대한 정보까지 제공함으로써, 감시 대상을 보다 효율적으로 감시할 수 있는 감시 시스템 및 그 제어 방법을 제공할 수 있다.
도 1은 일 실시예에 따른 감시 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 비콘 단말을 나타내는 블록도이다.
도 3은 일 실시예에 따른 네트워크 카메라를 나타내는 블록도이다.
도 4는 일 실시예에 따른 서버를 나타내는 블록도이다.
도 5는 일 실시예에 따른 감시 시스템 제어 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 감시 대상 위치 정보 생성 방법을 설명하기 위한 흐름도이다.
도 7은 다른 실시예에 따른 감시 대상 위치 정보 생성 방법을 설명하기 위한 흐름도이다.
도 8은 다른 실시예에 따른 감시 시스템 제어 방법을 설명하기 위한 흐름도이다.
도 9는 일 실시예에 따른 감시 대상 위치 정보 변경 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 감시 대상 경로 정보 제공 방법을 설명하기 위한 흐름도이다.
도 11은 일 실시예에 따른 감시 대상 경로 정보를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
도 13은 다른 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
도 14는 또 다른 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
도 15는 또 다른 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명에 따른 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 감시 시스템을 나타내는 블록도이다.
도 1을 참조하면, 일 실시예에 따른 감시 시스템은 비콘 단말(100), 네트워크 카메라(200), 네트워크(300), 및 서버(400)를 포함한다.
일 실시예에 따른 감시 시스템은 감시 결과를 클라이언트 단말(500)에 제공할 수 있다. 다른 실시예에 따른 감시 시스템은 클라이언트 단말(500)로부터 수신한 클라이언트 입력에 따라 감시 결과를 변경하고, 변경된 감시 결과를 클라이언트 단말(500)에 제공할 수 있다.
이하에서, 도 2를 참조하여 일 실시예에 따른 비콘 단말(100)을 상세하게 설명한다.
도 2는 일 실시예에 따른 비콘 단말을 나타내는 블록도이다.
도 2를 참조하면, 비콘 단말(100)은 전원(110), 통신 인터페이스(130), 프로세서(150), 및 메모리(170)를 포함한다.
전원(110, power supply)은 통신 인터페이스(130), 프로세서(150), 및 메모리(170)의 동작에 필요한 전원을 공급한다. 전원(110)은 소정 레벨의 전원을 공급할 수 있고, 재충전되거나 교체될 수 있다.
통신 인터페이스(130)는 비콘 신호를 전송하거나 외부로부터 비콘 신호를 수신한다. 통신 인터페이스(130)는 근거리 무선 통신을 통해 상기 외부와 통신할 수 있다. 예를 들어, 통신 인터페이스(130)는 블루투스 4.0의 BLE(Bluetooth Low Energy)를 이용하여 근거리 무선 통신을 수행할 수 있다.
통신 인터페이스(130)는 비콘 신호를 전송한 후, 전송한 비콘 신호에 대응되는 비콘 신호를 수신할 수 있다. 또는, 통신 인터페이스(130)는 상기 외부로부터 수신한 비콘 신호에 대응하는 비콘 신호를 상기 외부에 전송할 수 있다.
도시하지 않았으나, 통신 인터페이스(130)는 이동 통신을 통해 서버(400)에 비콘 정보를 전송할 수 있다.
프로세서(150)는 전원(110), 통신 인터페이스(130), 프로세서(150), 및 메모리(170)의 동작을 제어한다.
프로세서(150)는 외부를 향해 소정 주기로 비콘 신호를 전송할 수 있다. 프로세서(150)는 상기 외부를 향해 전송한 비콘 신호에 대응하는 비콘 신호를 수신한 경우, 비콘 정보를 생성할 수 있다.
비콘 정보는 비콘 단말(100)의 식별 정보, 비콘 단말(100)이 전송한 비콘 신호에 대응하는 비콘 신호를 송신한 외부 장치의 식별 정보, 상기 외부 장치의 위치 정보, 및 상기 외부 장치가 비콘 단말(100)을 감지한 시점을 나타내는 시간 정보 중 적어도 하나를 포함할 수 있다.
비콘 단말(100)의 식별 정보는 비콘 단말(100)을 다른 단말과 구별하기 위한 고유 정보로서, 예컨대, 아이디(ID), 디바이스 명, 일련 번호(serial number), MAC(Media Access Control) 주소 등일 수 있다.
상기 외부 장치의 위치 정보는 상기 외부 장치와 비콘 단말(100) 사이의 거리를 포함할 수 있다.
시간 정보는 비콘 단말(100)이 비콘 신호를 전송한 시간 또는 상기 외부 장치로부터 비콘 단말(100)이 전송한 비콘 신호에 대응하는 비콘 신호를 수신한 시간을 포함할 수 있다.
메모리(170)는 비콘 신호 및 비콘 정보를 저장할 수 있다.
다시 도 1을 참조하면, 네트워크 카메라(200)는 복수의 네트워크 카메라들(200-1, 200-2, 200-3)을 포함할 수 있다.
이하에서, 도 3을 참조하여 일 실시예에 따른 네트워크 카메라(200)를 상세하게 설명한다.
도 3은 일 실시예에 따른 네트워크 카메라를 나타내는 블록도이다.
도 3을 참조하면, 네트워크 카메라(200)는 전원(210), 통신 인터페이스(230), 카메라(250), 프로세서(270), 및 메모리(290)를 포함한다.
전원(210, power supply)은 통신 인터페이스(230), 카메라(250), 프로세서(270), 및 메모리(290)의 동작에 필요한 전원을 공급한다. 전원(210)은 소정 레벨의 전원을 공급할 수 있다. 전원(210)은 배터리일 수 있으며, 이때 네트워크 카메라(200)는 저전력 카메라일 수 있다.
통신 인터페이스(230)는 비콘 신호를 전송하거나 비콘 단말(100)로부터 비콘 신호를 수신한다. 통신 인터페이스(230)는 근거리 무선 통신을 통해 비콘 단말(100)과 통신할 수 있다. 예를 들어, 통신 인터페이스(230)는 블루투스 4.0의 BLE(Bluetooth Low Energy)를 이용하여 근거리 무선 통신을 수행할 수 있다.
통신 인터페이스(230)는 비콘 신호를 전송한 후, 전송한 비콘 신호에 대응되는 비콘 신호를 수신할 수 있다. 또는, 통신 인터페이스(230)는 비콘 단말(100)로부터 수신한 비콘 신호에 대응하는 비콘 신호를 비콘 단말(100)에 전송할 수 있다.
통신 인터페이스(230)는 비콘 정보 또는 영상 정보를 서버(400)에 전송한다. 통신 인터페이스(230)는 무선 통신 또는 유선 통신을 통해 네트워크(300)에 연결되어 서버(400)와 통신할 수 있다. 이때, 통신 인터페이스(230)는 인터넷 프로토콜을 이용하여 서버(400)와 통신할 수 있다.
카메라(250)는 소정 영역을 촬영한다. 카메라(250)는 비콘 단말(100)을 소지한 감시 대상을 촬영한 영상을 획득할 수 있다. 카메라(250)는 패닝(panning)과 틸팅(tilting)이 가능하며 렌즈의 줌 배율의 조절이 가능한 PTZ 카메라일 수 있다.
프로세서(270)는 전원(210), 통신 인터페이스(230), 카메라(250), 및 메모리(290)의 동작을 제어한다.
프로세서(270)는 외부를 향해 소정 주기로 비콘 신호를 전송할 수 있다. 프로세서(270)는 상기 외부를 향해 전송한 비콘 신호에 대응하는 비콘 신호를 수신한 경우, 비콘 정보를 생성한다.
비콘 정보는 네트워크 카메라(200)의 식별 정보, 비콘 단말(100)의 식별 정보, 비콘 단말(100)의 위치 정보, 및 네트워크 카메라(200)가 비콘 단말(100)을 감지한 시점을 나타내는 시간 정보 중 적어도 하나를 포함할 수 있다.
네트워크 카메라(200)의 식별 정보는 네트워크 카메라(200)를 다른 네트워크 카메라와 구별하기 위한 고유 정보로서, 예컨대, 아이디(ID), 디바이스 명, 일련 번호(serial number), MAC(Media Access Control) 주소 등일 수 있다.
비콘 단말(100)의 식별 정보는 비콘 단말(100)을 다른 단말과 구별하기 위한 고유 정보이다.
비콘 단말(100)의 위치 정보는 네트워크 카메라(200)와 비콘 단말(100) 사이의 거리를 포함할 수 있다.
시간 정보는 네트워크 카메라(200)가 비콘 신호를 전송한 시간 또는 비콘 단말(100)로부터 네트워크 카메라(200)가 전송한 비콘 신호에 대응하는 비콘 신호를 수신한 시간을 포함할 수 있다. 시간 정보는 비콘 단말(100)을 소지한 감시 대상이 감지된 시점을 나타내는 제1 시간 정보일 수 있다.
프로세서(270)는 상기 외부를 향해 전송한 비콘 신호에 대응하는 비콘 신호를 수신한 이후, 카메라(250)를 통해 상기 감시 대상을 촬영한 영상을 포함하는 영상 정보를 생성한다.
영상 정보는 네트워크 카메라(200)의 식별 정보, 상기 감시 대상이 촬영된 영상, 및 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보 중 적어도 하나를 포함할 수 있다.
프로세서(270)는 통신 인터페이스(230)를 통해 비콘 정보 및 영상 정보를 서버(400)로 전송할 수 있다.
메모리(290)는 비콘 신호, 비콘 정보 및 영상 정보를 저장할 수 있다.
이하에서, 도 4를 참조하여 일 실시예에 따른 서버(400)를 상세하게 설명한다.
도 4는 일 실시예에 따른 서버를 나타내는 블록도이다.
도 4를 참조하면, 서버(400)는 통신 인터페이스(410), 프로세서(430), 및 데이터베이스(450)를 포함한다.
통신 인터페이스(410)는 비콘 정보 및 영상 정보를 수신한다. 일 실시예에 따르면, 통신 인터페이스(410)는 비콘 단말(100) 또는 네트워크 카메라(200)로부터 비콘 정보를 수신하고, 네트워크 카메라(200)로부터 영상 정보를 수신한다. 통신 인터페이스(410)는 이동 통신을 통해 비콘 단말(100)로부터 비콘 정보를 수신하거나, 무선 통신 또는 유선 통신을 통해 네트워크(300)에 연결되어 네트워크 카메라(200)로부터 비콘 정보 및/또는 영상 정보를 수신할 수 있다.
비콘 정보는 비콘 단말(100)의 식별 정보, 네트워크 카메라(200)의 식별 정보, 비콘 단말(100)과 네트워크 카메라(200) 사이의 거리를 포함하는 비콘 단말(100)의 위치 정보, 네트워크 카메라(200)가 비콘 단말(100) 즉, 비콘 단말(100)을 소지한 감시 대상을 감지한 시점을 나타내는 제1 시간 정보 중 적어도 하나를 포함할 수 있다.
영상 정보는 네트워크 카메라(200)의 식별 정보, 상기 감시 대상이 촬영된 영상, 및 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보 중 적어도 하나를 포함할 수 있다.
통신 인터페이스(410)는 감시 대상 위치 정보를 클라이언트 단말(500)에 전송한다. 통신 인터페이스(410)는 클라이언트 단말(500)로부터 클라이언트 입력을 수신할 수 있고, 클라이언트 입력에 따라 변경된 감시 대상 위치 정보를 클라이언트 단말(500)에 전송할 수 있다.
프로세서(430)는 통신 인터페이스(410) 및 데이터베이스(450)의 동작을 제어한다.
프로세서(430)는 비콘 정보 및 영상 정보를 이용하여 감시 대상 위치 정보를 생성한다.
일 실시예에 따르면, 프로세서(430)는 비콘 정보의 제1 시간 정보와 영상 정보의 제2 시간 정보를 이용하여 비콘 정보와 영상 정보를 매칭시키고, 영상 정보로부터 감시 대상을 검출할 수 있다. 프로세서(430)는 비콘 정보와 영상 정보를 매칭시킴으로써, 비콘 단말(100)을 소지한 감시 대상을 촬영한 네트워크 카메라(200)를 가려낼 수 있고, 영상 정보로부터 감시 대상을 검출함으로써 감시의 정확성을 향상시킬 수 있다. 프로세서(430)는 영상 정보로부터 감시 대상을 검출하기 위하여 비콘 단말(100)의 위치 정보를 이용할 수 있으나, 이에 한정하지 않는다.
이어서, 프로세서(430)는 영상 정보로부터 감시 대상 영역을 산출할 수 있다. 감시 대상 영역은 영상 내에서 감시 대상이 차지하는 영역으로서, 감시 대상의 좌표와 크기로 정의될 수 있다. 예컨대, 감시 대상 영역은 영상의 중심점을 기준으로 산출한 감시 대상의 X 좌표 및 Y 좌표와, 영상의 전체 크기를 기준으로 산출한 감시 대상의 너비(width) 및 높이(height)로 정의될 수 있다.
이어서, 프로세서(430)는 감시 대상 영역을 나타내는 인디케이터를 생성할 수 있다. 인디케이터는 2차원 형상으로 생성될 수 있다. 예컨대, 인디케이터는 감시 대상 영역과 동일한 형상, 감시 대상 영역을 둘러싸는 형상, 감시 대상 영역을 가리키는 화살표 형상 등으로 생성될 수 있다.
프로세서(430)는 영상에 인디케이터를 융합하여 일 실시예에 따른 감시 대상 위치 정보를 생성할 수 있다.
한편, 프로세서(430)는 클라이언트 입력에 대응하여 감시 대상 영역의 크기를 변경할 수 있다. 클라이언트 입력은 예컨대, 감시 대상 영역을 가리키는 인디케이터의 좌표 또는 크기를 변경하기 위한 입력일 수 있다. 프로세서(430)는 예컨대, 인디케이터의 크기를 확장하는 클라이언트 입력에 대응하여 감시 대상 영역의 크기를 확장하고, 이에 따라 전송량이 감소한 영상에 인디케이터를 융합함으로써, 감시 대상 위치 정보를 변경할 수 있다.
다른 실시예에 따르면, 프로세서(430)는 비콘 정보의 제1 시간 정보와 영상 정보의 제2 시간 정보를 이용하여 상기 비콘 정보와 상기 영상 정보를 매칭시키고, 상기 영상 정보로부터 이벤트를 검출할 수 있다. 이벤트는 감시가 요구되는 다양한 상황을 의미할 수 있다. 예컨대, 이벤트는 영상 내에서 감시 대상이 갑자기 나타나거나 사라지는 경우, 감시 대상의 위치 또는 크기가 갑자기 변경되는 경우, 범죄 현장이 포착된 경우, 고성 또는 비명이 감지된 경우 등을 포함할 수 있다.
이어서, 프로세서(430)는 이벤트 검출 시점을 기준으로 미리 정해진 구간의 영상을 추출하고, 추출된 영상을 종합하여 다른 실시예에 따른 감시 대상 위치 정보를 생성할 수 있다. 예컨대, 프로세서(430)는 이벤트가 검출된 시점을 기준으로 5초 전부터 5초 후까지의 영상을 추출하여 감시 대상 위치 정보에 포함시킬 수 있다.
통신 인터페이스(410)가 복수의 네트워크 카메라들로부터 복수의 영상 정보를 수신한 경우, 프로세서(430)는 복수의 비콘 정보와 상기 복수의 영상 정보를 이용하여 복수의 감시 대상 위치 정보를 생성하고, 상기 복수의 감시 대상 위치 정보를 이용하여 감시 대상 경로 정보를 생성할 수 있다. 감시 대상 경로 정보의 생성에 대해서는 도 10 내지 도 15를 참조하여 후술한다.
데이터베이스(450)는 비콘 정보, 영상 정보, 및 감시 대상 위치 정보 중 적어도 하나를 저장한다.
이하에서, 도 5 내지 도 9를 참조하여 실시예들에 따른 감시 대상 위치 정보에 대하여 상세하게 설명한다.
도 5는 일 실시예에 따른 감시 시스템 제어 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 네트워크 카메라(200)는 외부를 향해 비콘 신호를 전송한다(S11). 예컨대, 네트워크 카메라(200)는 BLE를 이용하여, 1초에 한 번씩 비콘 신호를 브로드캐스팅할 수 있다.
이어서, 네트워크 카메라(200)는 비콘 단말(100)로부터 비콘 신호를 수신한다(S12). 예컨대, 비콘 단말(100)이 네트워크 카메라(200)로부터 50m 이내에 근접하여 네트워크 카메라(200)로부터 전송된 비콘 신호를 수신하면, 비콘 단말(100)은 BLE를 이용하여, 네트워크 카메라(200)로부터 전송된 비콘 신호에 대응하는 비콘 신호를 네트워크 카메라(200)에 송신할 수 있다.
비콘 단말(100)로부터 비콘 신호를 수신한 네트워크 카메라(200)는, 수신한 비콘 신호에 대응하여, 비콘 단말(100)의 위치 정보를 포함하는 비콘 정보를 생성한다(S13). 비콘 단말(100)의 위치 정보는 비콘 단말(100)과, 비콘 단말(100)을 감지한 네트워크 카메라(200) 사이의 거리를 포함할 수 있다. 비콘 정보는 비콘 단말(100)을 식별하는 비콘 단말 아이디, 네트워크 카메라(200)를 식별하는 네트워크 카메라 아이디, 및 네트워크 카메라(200)가 비콘 단말(100)로부터 비콘 신호를 수신한 시점을 나타내는 제1 시간 정보 중 적어도 하나를 더 포함할 수 있다.
네트워크 카메라(200)는 비콘 정보를 서버(400)에 전송한다(S14).
네트워크 카메라(200)는, 수신한 비콘 신호에 대응하여, 비콘 단말(100)을 소지한 감시 대상을 촬영한 영상을 포함하는 영상을 획득하고(S15), 영상을 포함하는 영상 정보를 서버(400)에 전송한다(S16). 영상 정보는 네트워크 카메라(200)를 식별하는 네트워크 카메라 아이디, 감시 대상이 촬영된 영상, 및 영상이 촬영된 시점을 나타내는 제2 시간 정보 중 적어도 하나를 포함할 수 있다.
이어서, 서버(400)는 비콘 정보 및 영상 정보를 이용하여 감시 대상 위치 정보를 생성한다(S17). 감시 대상 위치 정보는 감시 대상이 촬영된 네트워크 카메라(200)의 위치뿐만 아니라, 감시 대상이 촬영된 영상 내에서의 감시 대상의 위치를 포함할 수 있다.
이하에서, 도 6 및 도 7을 참조하여 실시예들에 따른 감시 대상 위치 정보 생성 방법을 상세하게 설명한다.
도 6은 일 실시예에 따른 감시 대상 위치 정보 생성 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 서버(400)는 비콘 정보의 제1 시간 정보와 영상 정보의 제2 시간 정보를 이용하여 비콘 정보와 영상 정보를 매칭시킨다(S271). 서버(400)는 비콘 정보와 영상 정보를 매칭시킴으로써, 비콘 단말(100)을 소지한 감시 대상을 촬영한 네트워크 카메라(200)를 가려낼 수 있다.
이어서, 서버(400)는 영상 정보로부터 감시 대상을 검출한다(S272). 서버(400)는 영상 정보로부터 감시 대상을 검출하여 감시 대상의 상황을 제공함으로써, 감시의 정확성을 향상시킬 수 있다. 서버(400)는 영상 정보로부터 감시 대상을 검출하기 위하여 비콘 단말(100)의 위치 정보를 이용할 수도 있고, 영상 처리를 수행할 수도 있다.
이어서, 서버(400)는 영상 정보로부터 감시 대상 영역을 산출한다(S273). 예컨대, 서버(400)는 영상 내에서의 X 좌표 및 Y 좌표와, 너비와 높이로 정의된 감시 대상 영역을 산출할 수 있다. 감시 대상 영역의 형상은 예컨대, 원형, 사각형, 또는 감시 대상과 동일한 형상일 수 있다.
이어서, 서버(400)는 감시 대상 영역을 나타내는 인디케이터를 생성한다(S274). 인디케이터의 형상은 예컨대, 감시 대상 영역과 동일한 형상, 감시 대상 영역을 둘러싸는 형상, 또는 감시 대상 영역을 가리키는 화살표 형상일 수 있다.
최종적으로, 서버(400)는 영상에 인디케이터를 융합한 감시 대상 위치 정보를 생성한다(S275).
도 7은 다른 실시예에 따른 감시 대상 위치 정보 생성 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 서버(400)는 비콘 정보의 제1 시간 정보와 영상 정보의 제2 시간 정보를 이용하여 비콘 정보와 영상 정보를 매칭시킨다(S371).
이어서, 서버(400)는 영상 정보로부터 이벤트를 검출한다(S372). 예컨대, 서버(400)는 영상 내에서 감시 대상이 갑자기 나타나거나 사라지는 이벤트, 영상 내에서 감시 대상의 위치 또는 크기가 갑자기 변경되는 이벤트, 범죄 현장이 포착되는 이벤트, 고성 또는 비명이 감지되는 이벤트 중 적어도 하나를 검출할 수 있다.
이어서, 서버(400)는 이벤트 검출 시점을 기준으로 미리 정해진 구간의 영상을 추출한다(S373). 예컨대, 서버(400)는 이벤트가 검출된 시점을 기준으로 5 초 전부터 5초 후까지의 영상을 추출할 수 있다.
최종적으로, 서버(400)는 추출된 영상으로 이루어진 감시 대상 위치 정보를 생성한다(S374).
다시 도 5를 참조하면, 서버(400)는 감시 대상 위치 정보를 클라이언트 단말(500)에 제공한다(S18).
일 실시예에 따른 서버(400)는, 클라이언트 단말(500)에, 인디케이터가 감시 대상을 가리키도록 표시된 영상을 포함하는 감시 대상 위치 정보를 제공할 수 있다.
다른 실시예에 따른 감시 시스템은, 클라이언트 단말(500)에, 이벤트가 검출된 시점의 전후에 촬영된 영상만을 포함하는 감시 대상 위치 정보를 제공할 수 있다.
이하에서는 중복되는 설명은 생략하거나 간략히 한다.
도 8은 다른 실시예에 따른 감시 시스템 제어 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 비콘 단말(100)은 외부를 향해 비콘 신호를 전송한다(S41). 예컨대, 비콘 단말(100)은 BLE를 이용하여, 1초에 한 번씩 비콘 신호를 브로드캐스팅할 수 있다.
이어서, 비콘 단말(100)은 네트워크 카메라(200)로부터 비콘 신호를 수신한다(S42). 예컨대, 비콘 단말(100)이 네트워크 카메라(200)로부터 50m 이내에 근접하면, 비콘 단말(100)로부터 전송된 비콘 신호를 수신한 네트워크 카메라(200)가 수신한 비콘 신호에 대응하는 비콘 신호를 비콘 단말(100)에 송신할 수 있다.
네트워크 카메라(200)로부터 비콘 신호를 수신한 비콘 단말(100)은, 수신한 비콘 신호에 대응하여, 네트워크 카메라(200)의 위치 정보를 포함하는 비콘 정보를 생성한다(S43). 네트워크 카메라(200)의 위치 정보는 네트워크 카메라(200)와 네트워크 카메라(200)가 감지한 비콘 단말(100) 사이의 거리를 포함할 수 있다. 비콘 정보는 비콘 단말(100)을 식별하는 비콘 단말 아이디, 비콘 단말(100)이 전송한 비콘 신호에 대응하는 비콘 신호를 송신한 네트워크 카메라(200)를 식별하는 네트워크 카메라 아이디, 및 비콘 단말(100)이 네트워크 카메라(200)로부터 비콘 신호를 수신한 시점을 나타내는 제2 시간 정보 중 적어도 하나를 포함할 수 있다.
비콘 단말(100)은 비콘 정보를 서버(400)에 전송한다(S44).
한편, 네트워크 카메라(200)는 비콘 단말(100)을 소지한 감시 대상을 촬영한 영상을 포함하는 영상을 획득하고(S45), 영상을 포함하는 영상 정보를 서버(400)에 전송한다(S46). 영상 정보는 네트워크 카메라(200)를 식별하는 네트워크 카메라 아이디, 감시 대상이 촬영된 영상, 및 영상이 촬영된 시점을 나타내는 제2 시간 정보 중 적어도 하나를 포함할 수 있다.
이어서, 서버(400)는 비콘 정보 및 영상 정보를 이용하여 감시 대상 위치 정보를 생성하고(S47), 감시 대상 위치 정보를 클라이언트 단말(500)에 제공한다(S48).
도 9는 일 실시예에 따른 감시 대상 위치 정보 변경 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 서버(400)가 감시 대상 위치 정보를 생성하여(S51), 클라이언트 단말(500)에 감시 대상 위치 정보를 제공한 후(S52), 클라이언트 단말(500)이 클라이언트 입력을 수신하면(S53), 클라이언트 단말(500)은 서버(400)에 클라이언트 입력을 전송한다(S54). 클라이언트 입력은 예컨대, 감시 대상 영역을 가리키는 인디케이터의 좌표 또는 크기를 변경하기 위한 입력일 수 있다.
서버(400)는 클라이언트 입력에 따라 감시 대상 영역을 변경한다(S55). 예컨대, 서버(400)는 인디케이터의 크기를 확장하는 클라이언트 입력에 대응하여 감시 대상 영역의 크기를 확장할 수 있다.
이어서, 서버(400)는 변경된 감시 대상 영역이 적용된 영상에 인디케이터를 융합하여 감시 대상 위치 정보를 변경한다(S56). 예컨대, 서버(400)는 크기가 확장됨에 따라 화질이 저하되고 전송량이 감소한 영상에, 인디케이터를 융합함으로써, 감시 대상 위치 정보를 변경할 수 있다.
서버(400)는 변경된 감시 대상 위치 정보를 클라이언트 단말(500)에 제공한다(S57).
이처럼, 일 실시예에 따른 감시 시스템은 클라이언트 단말에 감시 대상 위치 정보뿐만 아니라, 클라이언트 요구에 따라 변경된 감시 대상 위치 정보를 제공함으로써, 감시 대상을 보다 효율적으로 감시할 수 있다.
이하에서, 도 10 내지 도 15를 참조하여 실시예들에 따른 감시 대상 경로 정보에 대하여 상세하게 설명한다.
도 10은 일 실시예에 따른 감시 대상 경로 정보 제공 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 서버(400)는 비콘 단말(100) 또는 제1 네트워크 카메라(200-1, 도 1)로부터 수신한 비콘 정보 및 제1 네트워크 카메라(200-1, 도 1)로부터 수신한 제1 영상 정보를 이용하여 제1 감시 대상 위치 정보를 생성한다(S61).
이어서, 서버(400)는 비콘 단말(100) 또는 제2 네트워크 카메라(200-2, 도 1)로부터 수신한 비콘 정보 및 제2 네트워크 카메라(200-2, 도 1)로부터 수신한 제2 영상 정보를 이용하여 제2 감시 대상 위치 정보를 생성한다(S62).
이어서, 서버(400)는 비콘 단말(100) 또는 제3 네트워크 카메라(200-3, 도 1)로부터 수신한 비콘 정보 및 제3 네트워크 카메라(200-3, 도 1)로부터 수신한 제3 영상 정보를 이용하여 제3 감시 대상 위치 정보를 생성한다(S63).
서버(400)는 제1 내지 제3 감시 대상 위치 정보 중 적어도 하나를 이용하여 소정의 감시 대상에 대한 감시 대상 경로 정보를 생성한다(S64). 제1 내지 제3 감시 대상 위치 정보는 각각 순차적으로 생성될 수 있으나, 이에 한정하지 않는다. 이하에서, 도 11을 참조하여 감시 대상 경로 정보를 상세하게 설명한다.
도 11은 일 실시예에 따른 감시 대상 경로 정보를 설명하기 위한 도면이다.
도 11을 참조하면, 비콘 단말(100)을 소지한 감시 대상 A가 제1 네트워크 카메라(200-1), 제2 네트워크 카메라(200-2), 및 제3 네트워크 카메라(200-3)를 순차적으로 이동한다.
서버(400)는 예컨대, 비콘 단말(100) 또는 제1 네트워크 카메라(200-1)로부터 수신한 비콘 정보의 제1 시간 정보와 제1 네트워크 카메라(200-1)로부터 수신한 제1 영상 정보의 제2 시간 정보를 매칭시킬 수 있다. 그 결과, 서버(400)는 2015년 6월 11일 16시 22분 내지 2015년 6월 11일 16시 24분 사이에 제1 네트워크 카메라(200-1)에서 촬영된 영상을 포함하는 제1 감시 대상 위치 정보(r1)를 생성할 수 있다.
또한, 서버(400)는 예컨대, 비콘 단말(100) 또는 제2 네트워크 카메라(200-2)로부터 수신한 비콘 정보의 제1 시간 정보와 제2 네트워크 카메라(200-2)로부터 수신한 제2 영상 정보의 제2 시간 정보를 매칭시킬 수 있다. 그 결과, 서버(400)는 2015년 6월 11일 16시 25분 내지 2015년 6월 11일 16시 28분 사이에 제2 네트워크 카메라(200-2)에서 촬영된 영상을 포함하는 제2 감시 대상 위치 정보(r2)를 생성할 수 있다.
또한, 서버(400)는 예컨대, 비콘 단말(100) 또는 제3 네트워크 카메라(200-3)로부터 수신한 비콘 정보의 제1 시간 정보와 제3 네트워크 카메라(200-3)로부터 수신한 제3 영상 정보의 제2 시간 정보를 매칭시킬 수 있다. 그 결과, 서버(400)는 2015년 6월 11일 16시 29분 내지 2015년 6월 11일 16시 32분 사이에 제3 네트워크 카메라(200-3)에서 촬영된 영상을 포함하는 제3 감시 대상 위치 정보(r3)를 생성할 수 있다.
최종적으로, 서버(400)는 제1 감시 대상 위치 정보(r1), 제2 감시 대상 위치 정보(r2), 및 포함하는 제3 감시 대상 위치 정보(r3) 중 적어도 하나를 이용하여 감시 대상 A에 대한 감시 대상 경로 정보를 생성할 수 있다. 이하에서, 도 12 내지 도 15를 참조하여 서버(400)가 제1 내지 제3 감시 대상 위치 정보(r1, r2, r3) 중 적어도 하나를 이용하여 감시 대상 A에 대한 감시 대상 경로 정보를 생성하는 실시예들 각각을 상세하게 설명한다.
도 12는 일 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
도 12를 참조하면, 서버(400)는 제1 영상 정보로부터 이벤트를 검출한다(S741). 예컨대, 2015년 6월 11일 16시 23분에 감시 대상 A가 제1 네트워크 카메라(200-1)의 촬영 영역 내에서 갑자기 사라지는 이벤트가 검출될 수 있다.
이어서, 서버(400)는 이벤트 검출 시점 이후의 영상을 추출한다(S742). 예컨대, 서버(400)는 2015년 6월 11일 16시 23분 이후에 제1 네트워크 카메라(200-1)에서 촬영된 영상을 추출할 수 있다. 또한, 서버(400)는 2015년 6월 11일 16시 25분 내지 2015년 6월 11일 16시 28분 사이에 제2 네트워크 카메라(200-2)에서 촬영된 영상 및 2015년 6월 11일 16시 29분 내지 2015년 6월 11일 16시 32분 사이에 제3 네트워크 카메라(200-3)에서 촬영된 영상을 각각 추출할 수 있다.
이어서, 서버(400)는 추출된 영상으로 이루어진 감시 대상 경로 정보를 생성한다(S743). 예컨대, 서버(400)는 2015년 6월 11일 16시 23분 이후에 제1 네트워크 카메라(200-1)에서 촬영된 영상, 2015년 6월 11일 16시 25분 내지 2015년 6월 11일 16시 28분 사이에 제2 네트워크 카메라(200-2)에서 촬영된 영상, 및 2015년 6월 11일 16시 29분 내지 2015년 6월 11일 16시 32분 사이에 제3 네트워크 카메라(200-3)에서 촬영된 영상을 종합하여 감시 대상 경로 정보를 생성할 수 있다.
도 13은 다른 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
도 13을 참조하면, 서버(400)는 제1 영상 정보로부터 이벤트를 검출한다(S841). 예컨대, 2015년 6월 11일 16시 23분에 감시 대상 A가 제1 네트워크 카메라(200-1)의 촬영 영역 내에서 갑자기 사라지는 이벤트가 검출될 수 있다.
이어서, 서버(400)는 이벤트 검출 시점을 기준으로 미리 정해진 구간의 영상을 추출한다(S842). 예컨대, 서버(400)는 2015년 6월 11일 16시 23분을 기준으로 5초 전부터 5초 후까지 제1 네트워크 카메라(200-1)에서 촬영된 영상을 추출할 수 있다.
이어서, 서버(400)는 추출된 영상으로 이루어진 감시 대상 경로 정보를 생성한다(S843). 예컨대, 서버(400)는 2015년 6월 11일 16시 23분을 기준으로 5초 전부터 5초 후까지 제1 네트워크 카메라(200-1)에서 촬영된 영상으로 이루어진 감시 대상 경로 정보를 생성할 수 있다.
도 14는 또 다른 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
도 14를 참조하면, 서버(400)는 제1 영상 정보에 기초하여 감시 대상이 처음으로 검출된 최초 영상의 최후 구간 영상을 추출한다(S941). 예컨대, 서버(400)는 2015년 6월 11일 16시 24분 55초 내지 2015년 6월 11일 16시 25분 00초 사이에 제1 네트워크 카메라(200-1)에서 촬영된 영상을 추출할 수 있다.
이어서, 서버(400)는 제2 영상 정보에 기초하여 중간 영상의 최초 및 최후 구간 영상을 추출한다(S942). 예컨대, 서버(400)는 2015년 6월 11일 16시 25분 00초 내지 2015년 6월 11일 16시 25분 05초 사이와, 2015년 6월 11일 16시 28분 55초 내지 2015년 6월 11일 16시 29분 00초 사이에 제2 네트워크 카메라(200-2)에서 촬영된 영상을 각각 추출할 수 있다.
이어서, 서버(400)는 제3 영상 정보에 기초하여 감시 대상이 마지막으로 검출된 최후 영상의 최초 구간 영상을 추출한다(S943). 예컨대, 서버(400)는 2015년 6월 11일 16시 32분 55초 내지 2015년 6월 11일 16시 33분 00초 사이에 제3 네트워크 카메라(200-3)에서 촬영된 영상을 추출할 수 있다.
최종적으로, 서버(400)는 추출된 영상으로 이루어진 감시 대상 경로 정보를 생성한다(S944). 예컨대, 서버(400)는 2015년 6월 11일 16시 24분 55초 내지 2015년 6월 11일 16시 25분 00초 사이에 제1 네트워크 카메라(200-1)에서 촬영된 영상, 2015년 6월 11일 16시 25분 00초 내지 2015년 6월 11일 16시 25분 05초 사이와, 2015년 6월 11일 16시 28분 55초 내지 2015년 6월 11일 16시 29분 00초 사이에 제2 네트워크 카메라(200-2)에서 촬영된 영상, 및 2015년 6월 11일 16시 32분 55초 내지 2015년 6월 11일 16시 33분 00초 사이에 제3 네트워크 카메라(200-3)에서 촬영된 영상을 종합하여 감시 대상 경로 정보를 생성할 수 있다.
도 15는 또 다른 실시예에 따른 감시 대상 경로 정보 생성 방법을 설명하기 위한 흐름도이다.
도 15를 참조하면, 서버(400)는 제1 영상 정보에 기초하여 제1 대표 영상을 추출하고(S1041), 제2 영상 정보에 기초하여 제2 대표 영상을 추출하고(S1042), 제3 영상 정보에 기초하여 제3 대표 영상을 추출한다(S1043).
제1 내지 제3 대표 영상은 각각 예컨대, 감시 대상이 처음으로 검출된 정지 영상, 감시 대상이 마지막으로 검출된 정지 영상, 감시 대상 영역이 가장 큰 정지 영상 등일 수 있으나, 이에 한정하지 않는다.
이어서, 서버(400)는 추출된 영상으로 이루어진 감시 대상 경로 정보를 생성한다(S1044).
다시 도 10을 참조하면, 서버(400)는 감시 소정의 감시 대상에 대한 감시 대상 경로 정보를 클라이언트 단말(500)에 제공한다(S65).
본 발명의 실시예들에 따른 시간 정보 제공 방법은 컴퓨터로 읽을 수 있는 기록 매체에서 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 비콘 단말
200, 200-1, 200-2, 200-3: 네트워크 카메라
300: 네트워크
400: 서버
500: 클라이언트 단말

Claims (20)

  1. 소정 영역을 촬영하는 카메라;
    제1 비콘 신호를 전송하고, 비콘 단말로부터 제2 비콘 신호를 수신하며, 비콘 정보 및 영상 정보를 서버에 전송하는 통신 인터페이스; 및
    상기 제2 비콘 신호를 수신하면, 상기 비콘 정보 및 상기 영상 정보를 생성하는 프로세서;를 포함하는 네트워크 카메라를 포함하고,
    상기 제2 비콘 신호는 상기 제1 비콘 신호에 대응되고, 상기 비콘 정보는 상기 비콘 단말의 위치 정보 및 상기 네트워크 카메라가 상기 제2 비콘 신호를 수신한 시점을 나타내는 제1 시간 정보를 포함하며, 상기 영상 정보는 상기 비콘 단말을 소지한 감시 대상을 촬영한 영상 및 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보를 포함하며,
    상기 서버에 의해, 상기 제1 시간 정보와 상기 제2 시간 정보에 기초하여 상기 비콘 정보와 상기 영상 정보가 매칭됨으로써 상기 영상 정보로부터 상기 감시 대상이 검출되는, 감시 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 비콘 정보는,
    상기 네트워크 카메라를 식별하는 네트워크 카메라 아이디, 상기 비콘 단말을 식별하는 비콘 단말 아이디, 및 상기 감시 대상이 감지된 시점을 나타내는 시간 정보 중 적어도 하나를 더 포함하는, 감시 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 비콘 단말의 위치 정보는,
    상기 네트워크 카메라와 상기 비콘 단말 사이의 거리를 포함하는, 감시 시스템.
  7. 비콘 단말 또는 네트워크 카메라로부터 비콘 정보를 수신하고, 상기 네트워크 카메라로부터 영상 정보를 수신하며, 감시 대상 위치 정보를 클라이언트 단말에 전송하는 통신 인터페이스; 및
    상기 비콘 정보 및 상기 영상 정보를 이용하여 상기 감시 대상 위치 정보를 생성하는 프로세서;를 포함하는 서버를 포함하고,
    상기 비콘 정보는 상기 비콘 단말의 위치 정보 및 상기 네트워크 카메라가 상기 비콘 단말에 제1 비콘 신호를 전송한 후 상기 제1 비콘 신호에 대응되는 제2 비콘 신호를 상기 비콘 단말로부터 수신한 시점을 나타내는 제1 시간 정보를 포함하고,
    상기 영상 정보는 상기 비콘 단말을 소지한 감시 대상을 촬영한 영상 및 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보를 포함하며,
    상기 서버는 상기 제1 시간 정보와 상기 제2 시간 정보에 기초하여 상기 비콘 정보와 상기 영상 정보를 매칭함으로써 상기 영상 정보로부터 상기 감시 대상을 검출하는, 감시 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 네트워크 카메라가 비콘 단말에 제1 비콘 신호를 전송하는 단계;
    상기 비콘 단말이 상기 제1 비콘 신호에 대응하는 제2 비콘 신호를 상기 네트워크 카메라에 전송하는 단계;
    상기 네트워크 카메라가 상기 제2 비콘 신호에 대응하여 상기 비콘 단말의 위치 정보를 포함하는 비콘 정보 및 상기 비콘 단말을 소지한 감시 대상을 촬영한 영상을 포함하는 영상 정보를 생성하는 단계; 및
    상기 비콘 정보 및 상기 영상 정보를 서버에 전송하는 단계;를 포함하되,
    상기 비콘 정보는 상기 네트워크 카메라가 상기 제2 비콘 신호를 수신한 시점을 나타내는 제1 시간 정보를 포함하고, 상기 영상 정보는 상기 영상이 촬영된 시점을 나타내는 제2 시간 정보를 포함하며,
    상기 서버에 의하여, 상기 제1 시간 정보와 상기 제2 시간 정보에 기초하여 상기 비콘 정보와 상기 영상 정보가 매칭됨으로써 상기 영상 정보로부터 상기 감시 대상이 검출되는 단계를 더 포함하는, 감시 시스템 제어 방법.
  18. 제17항에 있어서,
    상기 서버에 의하여,
    상기 영상 내에서 상기 감시 대상을 가리키는 인디케이터가 생성되는 단계; 및
    상기 영상에 상기 인디케이터가 융합된 감시 대상 위치 정보가 생성되는 단계;를 더 포함하는, 감시 시스템 제어 방법.
  19. 삭제
  20. 삭제
KR1020150148829A 2015-10-26 2015-10-26 감시 시스템 및 그 제어 방법 Active KR102432806B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150148829A KR102432806B1 (ko) 2015-10-26 2015-10-26 감시 시스템 및 그 제어 방법
US15/185,225 US10341616B2 (en) 2015-10-26 2016-06-17 Surveillance system and method of controlling the same
CN201610620968.3A CN106612417B (zh) 2015-10-26 2016-08-01 网络相机、监视服务器和控制监视系统的方法
KR1020220099798A KR102574910B1 (ko) 2015-10-26 2022-08-10 감시 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150148829A KR102432806B1 (ko) 2015-10-26 2015-10-26 감시 시스템 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220099798A Division KR102574910B1 (ko) 2015-10-26 2022-08-10 감시 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20170048006A KR20170048006A (ko) 2017-05-08
KR102432806B1 true KR102432806B1 (ko) 2022-08-12

Family

ID=58559404

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150148829A Active KR102432806B1 (ko) 2015-10-26 2015-10-26 감시 시스템 및 그 제어 방법
KR1020220099798A Active KR102574910B1 (ko) 2015-10-26 2022-08-10 감시 시스템 및 그 제어 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220099798A Active KR102574910B1 (ko) 2015-10-26 2022-08-10 감시 시스템 및 그 제어 방법

Country Status (3)

Country Link
US (1) US10341616B2 (ko)
KR (2) KR102432806B1 (ko)
CN (1) CN106612417B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9913085B2 (en) 2016-02-19 2018-03-06 Accenture Global Solutions Limited Location tracking
US11563888B2 (en) 2017-09-25 2023-01-24 Hanwha Techwin Co., Ltd. Image obtaining and processing apparatus including beacon sensor
KR101971477B1 (ko) * 2018-04-09 2019-08-13 한화테크윈 주식회사 영상획득장치 및 영상처리장치
CA3020322A1 (en) * 2017-12-13 2019-06-13 Matthew Usi Systems and methods for threshold detection of a wireless device
US11521483B2 (en) * 2018-12-31 2022-12-06 Enseo, Llc Thermostat and system and method for use of same
KR102102827B1 (ko) * 2019-09-25 2020-04-23 지에스(주) 공동주택 경비 시스템 및 그 구동 방법
FR3101435B1 (fr) * 2019-09-30 2021-10-29 Uwinloc système d’aide à l’orientation d’une antenne d’une balise au regard d’une position cible

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636256B1 (en) * 1999-08-20 2003-10-21 Verizon Corporate Services Group Inc. Video communication system
KR20020058228A (ko) * 2000-12-29 2002-07-12 이철호 통신망을 통한 원격 제어 방법 및 그 장치
JP3988683B2 (ja) * 2003-06-12 2007-10-10 株式会社日立製作所 画像情報取得システム及び車載端末
US7283093B2 (en) * 2004-10-27 2007-10-16 International Business Machines Corporation Method and system for monitoring location based service emitter infrastructure
JP4559819B2 (ja) * 2004-10-29 2010-10-13 セコム株式会社 不審者検出システム及び不審者検出プログラム
JP2006311111A (ja) * 2005-04-27 2006-11-09 Daikin Ind Ltd 位置検知システムおよび位置検知方法
KR100706903B1 (ko) 2005-07-15 2007-04-12 에스케이 텔레콤주식회사 영역 진입/이탈 알림 서비스 시스템 및 그 방법
KR20070044605A (ko) 2005-10-25 2007-04-30 주식회사 케이티 네트워크 카메라, 이를 이용한 버스 정보 안내 시스템 및방법
US20070290924A1 (en) * 2005-12-14 2007-12-20 Innerwireless, Inc. Wireless resource monitoring system and method
US7605696B2 (en) * 2005-12-21 2009-10-20 Cary Quatro System and method for real time location tracking and communications
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
KR20090127971A (ko) * 2008-06-10 2009-12-15 김윤영 건강 약차 조성물 및 이의 제조 방법
US20100114748A1 (en) 2008-10-31 2010-05-06 Wachovia Corporation Predictive advisor system and method for communicating with a user regarding a payment account in a computer network
IL200065A (en) * 2009-07-26 2013-11-28 Verint Systems Ltd Location and contract based identification systems and methods
JP5383366B2 (ja) * 2009-07-28 2014-01-08 キヤノン株式会社 画像処理装置、画像処理方法、および、そのプログラム
KR20110071408A (ko) 2009-12-21 2011-06-29 한국전자통신연구원 비콘 기반의 관심 이동체 위치추적 방법
CN101742262B (zh) * 2009-12-25 2015-01-07 北京智慧图科技发展有限责任公司 一种室内定位方法和装置
GB2492298B (en) * 2010-03-24 2016-02-17 Thoroughbred Ratings Pty Ltd Method, system and apparatus for tracking and monitoring moving objects
CN102075676A (zh) * 2011-01-11 2011-05-25 江苏晓山信息产业股份有限公司 基于rfid信号控制视频上传的一体机
CN102256108B (zh) * 2011-05-30 2013-04-03 四川省电力公司 智能变电站工作人员多路视频自动跟踪定位系统
CN102567761A (zh) * 2012-01-17 2012-07-11 西安电子科技大学 基于rfid的行人定位装置及方法
KR101356192B1 (ko) * 2012-04-26 2014-01-24 서울시립대학교 산학협력단 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
JP2014081420A (ja) * 2012-10-15 2014-05-08 Olympus Imaging Corp 追尾装置及びその方法
KR101497814B1 (ko) 2013-07-02 2015-03-02 주식회사 동양유니텍 근거리 무선통신을 이용한 통행자 감시 장치 및 방법
US20150116501A1 (en) * 2013-10-30 2015-04-30 Sony Network Entertainment International Llc System and method for tracking objects
CN104683741B (zh) * 2013-11-29 2018-01-19 中国电信股份有限公司 基于周边环境动态控制云台和监控前端
CN104717606A (zh) * 2013-12-13 2015-06-17 李政 一种应用于拍卖现场的摄像自动跟踪方法
US9760852B2 (en) * 2014-01-28 2017-09-12 Junaid Hasan Surveillance tracking system and related methods
KR101679597B1 (ko) * 2014-04-11 2016-12-06 렉스젠(주) 객체 관리 시스템 및 그 방법
CN104486835B (zh) * 2014-12-09 2018-03-23 浙江宇视科技有限公司 一种基于无线接入点和视频监控的定位装置
CN104507162B (zh) * 2014-12-26 2018-07-20 重庆金瓯科技发展有限责任公司 基于绑定关系的蓝牙信标数据业务系统
KR102161210B1 (ko) * 2015-01-15 2020-09-29 한화테크윈 주식회사 다중 비디오써머리제공방법 및 장치
CN104837200B (zh) * 2015-05-28 2018-09-04 重庆金瓯科技发展有限责任公司 一种基于方位定向的定位监听装置及室内定位系统
US20180103197A1 (en) * 2016-10-06 2018-04-12 Gopro, Inc. Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2002-0058228호(2002.07.12.) 1부*
공개특허공보 제10-2015-0118010호(2015.10.21.) 1부*

Also Published As

Publication number Publication date
CN106612417B (zh) 2021-01-15
KR102574910B1 (ko) 2023-09-04
US20170118446A1 (en) 2017-04-27
KR20170048006A (ko) 2017-05-08
CN106612417A (zh) 2017-05-03
KR20220115907A (ko) 2022-08-19
US10341616B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
KR102574910B1 (ko) 감시 시스템 및 그 제어 방법
KR101544019B1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
EP3340177A1 (en) Method and system for creating virtual message onto a moving object and searching the same
US10200631B2 (en) Method for configuring a camera
JP2018088157A (ja) 検知認識システム
US20170324893A1 (en) Network system and control method for network system
WO2021095351A1 (ja) 監視装置、監視方法、及びプログラム
KR102527771B1 (ko) Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법
CN106464794A (zh) 摄像装置和摄像系统
KR20190136943A (ko) 화상 처리장치, 정보 처리장치, 정보 처리방법, 및 기록매체
KR20180122831A (ko) 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN114982218A (zh) 具有自动对象选择的用于远程图像捕获的装置和方法
JP2016081428A (ja) 情報端末、情報処理装置、およびプログラム
JP7328849B2 (ja) 撮像装置、システム、撮像装置の制御方法、プログラム
JP2019009562A (ja) 監視映像表示システム、監視映像表示装置、監視情報管理サーバ、および、監視映像表示方法
KR102008672B1 (ko) 카메라와 연계해서 증강현실 프리미티브와 이벤트를 연동시키는 시스템 및 그 시스템의 구동방법
WO2023090893A1 (ko) 인터랙션을 지원하는 사용자 인터페이스를 제공하는 방법 및 이를 수행하는 전자 장치
KR20240060912A (ko) 산림 환경에서 영상 속 이벤트의 3차원 위치 추정 방법
KR20190114223A (ko) 감시 시스템 및 그 동작 방법
KR102548624B1 (ko) 위험을 사전에 분석하여 위험 예상 지역에서의 경보를 발생시키는 시스템
US20120169899A1 (en) Electronic device and method for searching for object
JP2019050452A (ja) 制御装置、制御方法、プログラム、及び監視システム
JP2018061135A (ja) 情報処理装置、情報処理方法及びプログラム
JP2012048320A (ja) 情報機器
KR102282460B1 (ko) 감시 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4