KR102839672B1 - Smart emergency bell system equipped with a fusion sensor that improve recognition rate of de-identification images - Google Patents
Smart emergency bell system equipped with a fusion sensor that improve recognition rate of de-identification imagesInfo
- Publication number
- KR102839672B1 KR102839672B1 KR1020250004868A KR20250004868A KR102839672B1 KR 102839672 B1 KR102839672 B1 KR 102839672B1 KR 1020250004868 A KR1020250004868 A KR 1020250004868A KR 20250004868 A KR20250004868 A KR 20250004868A KR 102839672 B1 KR102839672 B1 KR 102839672B1
- Authority
- KR
- South Korea
- Prior art keywords
- surveillance
- sensor
- fusion
- unit
- emergency bell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
- G08B3/1008—Personal calling arrangements or devices, i.e. paging systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/002—Generating a prealarm to the central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 적외선 어레이 센서와 ToF(Time to Flight) 어레이 센서를 연동한 융합센서를 사용하여 감시 대상자에 대한 저해상도 비식별 이미지를 명확하게 도출하며, 도출된 저해상도 비식별 이미지를 기반으로 특정 방범대상 공간에서의 불법촬영 또는 위급상황 등을 검출하며 검출결과에 연동하여 자동신고 및 경고방송 송출 등을 수행할 수 있는 비상벨 시스템에 관한 것으로, 보다 상세하게는 특정 방범대상 공간에 둘 이상 배치되는 이기종의 감지센서를 포함하며, 각 감지센서에서 출력되는 데이터를 융합하여 감시 대상자에 대한 비식별 이미지를 획득하고 획득한 비식별 이미지를 출력하는 융합센서부; 상기 융합센서부에서 송신하는 비식별 이미지를 수신하고 수신한 비식별 이미지를 분석하여 상기 감시 대상자에 대한 동작 및 이동성을 판단하며, 판단된 감시 대상자의 동작 및 이동성을 기반으로 행동패턴을 도출하고 도출된 행동패턴으로부터 감시 대상자의 이상행동 여부를 검출 및 출력하는 분석장치; 및 사용자 조작 또는 상기 분석장치에서 출력되는 검출결과에 따라 선택적으로 구조요청신호를 생성하고 이를 하나 이상의 관리 기관으로 송신하면서 현장에서 시각적 또는 청각적으로 전파되도록 작동하는 비상벨장치;를 포함하는 것이 특징이다.The present invention relates to an emergency bell system that clearly derives a low-resolution de-identified image of a surveillance subject using a fusion sensor that links an infrared array sensor and a ToF (Time to Flight) array sensor, and detects illegal filming or an emergency situation in a specific security target space based on the derived low-resolution de-identified image, and performs automatic reporting and warning broadcast transmission based on the detection result, and more specifically, the system comprises: a fusion sensor unit that includes two or more heterogeneous detection sensors arranged in a specific security target space, and obtains a de-identified image of a surveillance subject by fusing data output from each detection sensor and outputs the obtained de-identified image; an analysis device that receives the de-identified image transmitted by the fusion sensor unit, analyzes the received de-identified image to determine the motion and mobility of the surveillance subject, derives a behavioral pattern based on the determined motion and mobility of the surveillance subject, and detects and outputs whether the surveillance subject is behaving abnormally from the derived behavioral pattern; And it is characterized by including an emergency bell device that selectively generates a rescue request signal based on a user operation or a detection result output from the analysis device and transmits the same to one or more management agencies so that it is transmitted visually or audibly in the field.
Description
본 발명은 적외선 어레이 센서와 ToF(Time to Flight) 어레이 센서를 연동한 융합센서를 사용하여 감시 대상자에 대한 저해상도 비식별 이미지를 명확하게 도출하며, 도출된 저해상도 비식별 이미지를 기반으로 특정 방범대상 공간에서의 불법촬영 또는 위급상황 등을 검출하며 검출결과에 연동하여 자동신고 및 경고방송 송출 등을 수행할 수 있는 비상벨 시스템에 관한 것이다.The present invention relates to an emergency bell system that uses a fusion sensor that links an infrared array sensor and a ToF (Time to Flight) array sensor to clearly derive a low-resolution, non-identifiable image of a surveillance subject, and detects illegal filming or an emergency situation in a specific surveillance target space based on the derived low-resolution, non-identifiable image, and performs automatic reporting and warning broadcast transmission in conjunction with the detection result.
우라나라는 2000년대 전후로 공중화장실 현대화 사업을 지속 수행중이며, 이를 통해 노후화된 위생시설을 개선하고 세계적 수준의 공중화장실 환경을 구축하기 위해 매진하고 있다.Our country has been continuously carrying out public restroom modernization projects since around the year 2000, and is dedicated to improving aging sanitary facilities and creating a world-class public restroom environment.
그러나 한국지방행정연구원 통계자료에 따르면, 공중화장실 사용자들의 이용 불편사항으로 불법 촬영, 묻지마 폭행 등의 안전문제를 지속적으로 제기하고 있다.However, according to statistics from the Korea Local Administration Research Institute, public restroom users continue to raise safety issues such as illegal filming and random assault due to inconveniences in using the restroom.
이에 2023년 6월 공중화장실법 개정으로 공중화장실에서 "비상벨"의 설치가 의무화되어 안전/범죄에 대응할 수 있는 장치가 마련되었으나, 수동적인 신고 체계와 오신고 등으로 인한 공권력 낭비 문제가 있으며 이를 해결하기 대응책 마련이 시급한 실정이다.Accordingly, with the revision of the Public Restroom Act in June 2023, the installation of "emergency bells" in public restrooms became mandatory, providing a mechanism to respond to safety/crime. However, there is a problem of waste of public power due to the passive reporting system and false reports, and it is urgent to prepare countermeasures to resolve this.
근래 들어 공중화장실 불법촬영, 묻지마 폭행 및 여러 안전사고에 대응하기 위해 ICT 기술을 활용한 다양한 서비스가 제시되고 있지만, 개인정보보호가 중요시되는 환경적 특성상 활용 기술과 적용 범위가 극히 제한적이며 특히 공중화장실의 경우 영상장치를 활용한 모니터링 환경 구축이 불가하기 때문에 서비스 구현에 많은 어려움이 발생하고 있다.Recently, various services utilizing ICT technology have been proposed to respond to illegal filming in public restrooms, random assaults, and various safety accidents. However, due to the environmental characteristics that prioritize personal information protection, the technology and scope of application are extremely limited. In particular, in the case of public restrooms, it is impossible to establish a monitoring environment using video equipment, so there are many difficulties in implementing the services.
이를 대체하기 위해 4D 이미징 레이더 센서, ToF 센서, 적외선 센서 등을 활용하여 감시 대상자를 도트 이미지 영상으로 형상화하고, 이를 기반으로 동작을 인식하고 위험상황을 탐지하는 기술이 도입되고 있다.To replace this, technologies are being introduced that utilize 4D imaging radar sensors, ToF sensors, infrared sensors, etc. to visualize the subject of surveillance as a dot image, and based on this, recognize movements and detect dangerous situations.
그러나 각 센서의 데이터 수신 방법과 기술적 특징으로 인해 감시대상 인식범위에 한계가 존재한다. 일예로 4D 이미징 레이더 센서는 공간 전체의 구조적 특징을 해석할 수 있지만, 그 변화에 따른 감시대상의 구체적 식별(동작)에는 매우 제한적인 한계를 드러낸다.However, the data reception method and technical characteristics of each sensor limit the scope of surveillance target recognition. For example, 4D imaging radar sensors can interpret structural features across an entire space, but their ability to specifically identify (or act upon) surveillance targets based on changes in those features is severely limited.
그리고 ToF 센서(또는 라이다, 레이더 등)의 경우, 감시 대상과 배경의 거리차를 통해 구체적 식별이 가능하지만, 감시 대상이 사람 또는 사물인지 식별이 불가한 점으로, 동작인식률의 정확도를 낮출 수 있다. And in the case of ToF sensors (or lidar, radar, etc.), specific identification is possible through the distance difference between the surveillance target and the background, but it is impossible to identify whether the surveillance target is a person or an object, which can lower the accuracy of the motion recognition rate.
또한 적외선 센서의 경우 감시 영상의 열정보를 사용하여 사람 여부를 특정 할 수 있지만, 외부 온도변화에 민감하여 대상의 형상 중 체적인 작아 온도 표출이 낮은 인체 말단부(손, 팔 등)에 인식 한계를 가지고 있다.In addition, infrared sensors can use thermal information from surveillance footage to determine whether a person is present, but they are sensitive to external temperature changes and have limitations in recognizing small, low-temperature extremities (hands, arms, etc.) of the target.
따라서 본 발명은 상술한 문제점을 해결하기 위한 안출된 것으로, 이기종의 센서들을 융합한 멀티모달 센싱 기술을 적용하여 감시 대상자에 대한 다양한 동작 인식과 그에 따른 행동패턴을 보다 정확하게 도출할 수 있게 함으로써 불법촬영 내지 위급상황 등의 이상행동 검출결과에 신뢰도를 향상시킬 수 있는 스마트 비상벨 시스템을 제공하는 것이 목적이다.Accordingly, the present invention has been devised to solve the above-described problems, and the purpose of the present invention is to provide a smart emergency bell system that can improve the reliability of detection results of abnormal behaviors such as illegal filming or emergency situations by applying multimodal sensing technology that fuses heterogeneous sensors to more accurately derive various motion recognition and corresponding behavioral patterns of a surveillance subject.
상술한 문제점을 해결하기 위한 수단으로서 본 발명의 비식별 이미지의 동작 인식률을 향상시킨 융합센서를 탑재한 스마트 비상벨 시스템(이하 "본 발명의 시스템"이라 칭함)은, 특정 방범대상 공간에 설치되고, 적외선 센서가 복수로 배열되어 감시 대상자의 온도를 수치화한 픽셀 데이터를 획득하는 적외선 어레이 센서와, ToF(Time to Flight) 센서가 복수로 배열되어 감시 대상자의 거리를 수치화한 픽셀 데이터를 획득하는 ToF 어레이 센서를 포함하며, 각 센서에서 출력되는 데이터를 융합하여 감시 대상자에 대한 비식별 이미지를 획득하고 획득한 비식별 이미지를 출력하는 융합센서부; 상기 융합센서부에서 송신하는 비식별 이미지를 수신하고 수신한 비식별 이미지를 분석하여 상기 감시 대상자에 대한 동작 및 이동성을 판단하며, 판단된 감시 대상자의 동작 및 이동성을 기반으로 행동패턴을 도출하고 도출된 행동패턴으로부터 감시 대상자의 이상행동 여부를 검출 및 출력하는 분석장치; 및 사용자 조작 또는 상기 분석장치에서 출력되는 검출결과에 따라 선택적으로 구조요청신호를 생성하고 이를 하나 이상의 관리 기관으로 송신하면서 현장에서 시각적 또는 청각적으로 전파되도록 작동하는 비상벨장치;를 포함하고, 상기 분석장치는, 상기 융합센서부로부터 수신한 비식별 이미지의 형상을 구체화하고 구체화된 이미지 형상을 분류하여 선택된 하나의 동작으로 인식하는 동작인식부와, 상기 융합센서부로부터 수신한 비식별 이미지에서 감시 대상자의 이동에 따른 화소 변화를 추적하여 이동방향과 이동속도를 포함하는 이동성을 분석하는 이동성분석부와, 상기 동작인식부에서 인식된 감시 대상자의 동작과 상기 이동성분석부에서 분석된 감시 대상자의 이동성을 취합하여 시계열 형식의 행동패턴으로 도출하는 패턴도출부와, 상기 패턴도출부에서 도출된 행동패턴을 기반으로 불법촬영, 실신, 낙상, 폭행 중 어느 하나의 이상행동을 검출하는 이상행동검출부 및 상기 이상행동검출부의 검출결과에 따라 선택적으로 하나 이상의 대응신호를 출력하고 출력된 하나 이상의 대응신호를 상기 비상벨장치로 송신하는 신호전송부를 포함하며, 상기 융합센서부는 둘 이상이 마련되어 센서 네트워크를 구축하되, 상기 특정 방범대상 공간 내에서 둘 이상의 융합센서부가 상호 이격된 위치 설치되고, 상기 분석장치는, 상호 이격된 위치에 설치되는 둘 이상의 융합센서부로부터 출력되는 각각의 개별 비식별 이미지를 취합하여 다시점(multi-view) 비식별 이미지 세트로 생성하고, 생성된 다시점 비식별 이미지 세트를 분석하여 상기 감시 대상자에 대한 입체적인 동작을 판단하는 것이 특징이다.As a means for solving the above-described problem, a smart emergency bell system equipped with a fusion sensor that improves the motion recognition rate of an unidentifiable image of the present invention (hereinafter referred to as the "system of the present invention") comprises: an infrared array sensor installed in a specific security target space, in which a plurality of infrared sensors are arranged to obtain pixel data digitizing the temperature of a surveillance target; a ToF (Time to Flight) array sensor in which a plurality of ToF sensors are arranged to obtain pixel data digitizing the distance of the surveillance target; a fusion sensor unit that fuses data output from each sensor to obtain an unidentifiable image of the surveillance target and outputs the obtained unidentifiable image; an analysis device that receives an unidentifiable image transmitted from the fusion sensor unit, analyzes the received unidentifiable image to determine motion and mobility of the surveillance target, derives a behavioral pattern based on the determined motion and mobility of the surveillance target, and detects and outputs whether the surveillance target exhibits abnormal behavior from the derived behavioral pattern; And an emergency bell device that selectively generates a rescue request signal according to a user operation or a detection result output from the analysis device and transmits the same to one or more management agencies while operating to be visually or audibly transmitted in the field; wherein the analysis device comprises: a motion recognition unit that specifies the shape of an unidentifiable image received from the fusion sensor unit and classifies the specified image shape to recognize it as a selected motion; a mobility analysis unit that analyzes mobility including a movement direction and movement speed by tracking pixel changes according to the movement of a surveillance subject in the unidentifiable image received from the fusion sensor unit; a pattern derivation unit that combines the motion of the surveillance subject recognized by the motion recognition unit and the mobility of the surveillance subject analyzed by the mobility analysis unit to derive a behavior pattern in a time series format; an abnormal behavior detection unit that detects any one of illegal filming, fainting, falling, and assault based on the behavior pattern derived from the pattern derivation unit; and a signal transmission unit that selectively outputs one or more response signals according to the detection result of the abnormal behavior detection unit and transmits the output one or more response signals to the emergency bell device. Including, the fusion sensor unit is provided with two or more to build a sensor network, and the two or more fusion sensor units are installed at mutually spaced locations within the specific security target space, and the analysis device is characterized in that it collects each individual non-identifiable image output from the two or more fusion sensor units installed at mutually spaced locations to create a multi-view non-identifiable image set, and analyzes the created multi-view non-identifiable image set to determine a three-dimensional movement of the surveillance target.
삭제delete
삭제delete
하나의 예로써, 상기 융합센서부는, 상기 적외선 어레이 센서와 ToF 어레이 센서의 초점차에 따른 좌표계 오차를 보정하는 좌표계 설정모듈과, 상기 적외선 어레이 센서와 ToF 어레이 센서의 화각 차이에 따른 감시대상자의 표출 형상을 보정하는 해상도 보정모듈과, 상기 좌표계 설정모듈과 해상도 보정모듈에 보정된 적외선 어레이 센서의 픽셀 데이터와 ToF 어레이 센서의 픽셀 데이터를 매칭 및 융합하여 비식별 이미지를 생성하는 데이터 융합모듈을 포함하는 것이 특징이다.As an example, the fusion sensor unit is characterized by including a coordinate system setting module that corrects a coordinate system error according to a focal difference between the infrared array sensor and the ToF array sensor, a resolution correction module that corrects the displayed shape of a surveillance subject according to a difference in field of view between the infrared array sensor and the ToF array sensor, and a data fusion module that matches and fuses pixel data of the infrared array sensor and pixel data of the ToF array sensor corrected by the coordinate system setting module and the resolution correction module to generate an unidentifiable image.
삭제delete
삭제delete
하나의 예로써, 상기 비상벨장치는, 상기 분석장치에서 송신하는 대응신호를 수신하고 상기 대응신호의 입력에 응답하여 현장의 위험상황을 시각적 또는 청각적 전파하도록 작동하는 하나 이상의 상황전파모듈을 포함하는 것이 특징이다.As an example, the emergency bell device is characterized by including one or more situation transmission modules that receive a response signal transmitted from the analysis device and operate to visually or audibly transmit a dangerous situation at the site in response to input of the response signal.
하나의 예로써, 상기 비상벨장치는, 상기 분석장치에서 송신하는 대응신호를 수신하고 상기 대응신호의 입력에 응답하여 상기 구조요청 신호를 생성하는 자동신고모듈을 포함하는 것이 특징이다.As an example, the emergency bell device is characterized by including an automatic reporting module that receives a response signal transmitted from the analysis device and generates the rescue request signal in response to input of the response signal.
이와 같은 본 발명의 시스템은 적외선 어레이 센서와 ToF(Time to Flight) 어레이 센서를 연동한 융합센서를 적용하여 비식별 이미지를 획득함에 있어 상호 센서 간의 단점을 보완함으로써 특정 방범대상 공간에서 감시 대상자에 대한 보다 명확한 저해상도 비식별 이미지를 도출할 수 있는 효과가 있다.The system of the present invention has the effect of being able to derive a clearer low-resolution non-identifiable image of a surveillance target in a specific security target space by compensating for the shortcomings of each sensor in obtaining a non-identifiable image by applying a fusion sensor that links an infrared array sensor and a ToF (Time to Flight) array sensor.
또한 이기종의 센서들을 융합한 융합센서를 통해 도출되는 비식별 이미지를 기반으로 감시 대상자에 대한 다양한 동작 인식과 그에 따른 행동패턴을 도출할 수 있게 함으로써 불법촬영 내지 위급상황 등 이상행동 검출결과의 신뢰도를 더욱 향상시킬 수 있는 효과가 있다.In addition, it has the effect of further improving the reliability of detection results for abnormal behaviors such as illegal filming or emergency situations by enabling recognition of various movements of the subject of surveillance and deriving behavioral patterns based on the non-identifiable images derived from the fusion sensor that fuses heterogeneous sensors.
또한 감시 대상자의 이상행동 검출 시 비상벨 장치와 연동하여 관리기관에 해당 상황을 자동신고함과 더불어 현장에서 경고방송을 송출함으로써 관리자로 하여금 신속한 현장 확인 및 대응조치가 이루어질 수 있게 하는 효과가 있다.Additionally, when abnormal behavior of the subject of surveillance is detected, it automatically reports the situation to the management agency by linking with the emergency bell device and transmits a warning broadcast on site, which has the effect of enabling the manager to quickly check the site and take response measures.
도 1은 본 발명의 일 실시 예에 따른 시스템의 구성을 개략적으로 나타내는 도면.
도 2는 본 발명의 일 실시 예에 따른 융합센서부의 구성을 나타내는 블록도.
도 3a 내지 도 3c는 본 발명의 일 실시 예에 따른 융합센서부의 데이터 융합 과정을 나타내는 도면.
도 4는 본 발명의 일 실시 예에 따른 분석장치의 구성을 나타내는 블록도.
도 5는 본 발명의 일 실시 예에 따른 감시 대상자의 동작 인식 방법을 나타내는 도면.
도 6은 본 발명의 일 실시 예에 따른 감시 대상자의 이동성 분석 방법을 나타내는 도면.
도 7은 본 발명의 일 실시 예에 따른 다시점 비식별 이미지 데이터를 이용한 감시 대상자의 동작 인식 방법을 나타내는 도면.Figure 1 is a drawing schematically showing the configuration of a system according to one embodiment of the present invention.
Figure 2 is a block diagram showing the configuration of a fusion sensor unit according to one embodiment of the present invention.
Figures 3a to 3c are diagrams showing a data fusion process of a fusion sensor unit according to one embodiment of the present invention.
Figure 4 is a block diagram showing the configuration of an analysis device according to one embodiment of the present invention.
FIG. 5 is a drawing showing a method for recognizing the motion of a surveillance subject according to one embodiment of the present invention.
FIG. 6 is a diagram illustrating a method for analyzing the mobility of a surveillance subject according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a method for recognizing the motion of a surveillance subject using re-point de-identified image data according to an embodiment of the present invention.
본 발명을 설명함에 있어서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.In describing the present invention, terms or words used in this specification and claims should be interpreted as meanings and concepts that conform to the technical idea of the present invention, based on the principle that the inventor can appropriately define the concept of the term to describe his or her own invention in the best way.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시 예를 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
도 1을 참조하면 본 발명의 시스템은, 융합센서부(10)와 분석장치(30) 및 비상벨장치(20)를 포함하여 구성될 수 있다.Referring to FIG. 1, the system of the present invention can be configured to include a fusion sensor unit (10), an analysis device (30), and an emergency bell device (20).
상기 비상벨장치(20)는 특정 방범대상 공간(1)에 설치되어 사용자 조작에 따라 구조요청신호를 생성할 수 있으며, 이를 선택된 하나 이상의 관리 기관으로 송신하여 재해, 재난, 범죄 등의 위급 상황을 관련 기관에 알릴 수 있다.The above emergency bell device (20) is installed in a specific security target space (1) and can generate a rescue request signal according to user operation, and transmit it to one or more selected management agencies to notify the relevant agencies of an emergency situation such as a disaster, calamity, or crime.
또한 상기 비상벨장치(20)는 상기 언급된 위급 상황 시 구조요청신호의 생성에 연동하여 경보음 내지 경고방송 등을 송출하도록 작동될 수 있다.In addition, the above-mentioned emergency bell device (20) can be operated to transmit an alarm sound or warning broadcast in conjunction with the generation of a rescue request signal in the above-mentioned emergency situation.
상기 비상벨장치(20)는 구조요청신호의 생성과 함께 선택적으로 상기 관리 기관의 담당자와 통화 연결을 시도할 수 있으며, 현장 상황에 대한 통화를 통해 취득한 정보들로 하여금 관리 기관의 담당자가 비상 상황의 경중을 판단할 수 있게 도움을 줄 수 있을 뿐 아니라, 신고자에게 담당자의 육성을 통한 초동 대처를 지시 및 안내할 수 있다.The above emergency bell device (20) can optionally attempt to connect a call with a person in charge of the management agency along with generating a rescue request signal, and can not only help the person in charge of the management agency determine the severity of the emergency situation through the information obtained through the call about the on-site situation, but can also instruct and guide the reporter on the initial response through the person in charge's voice.
여기서 상기 관리 기관은 지자체의 경찰서나 소방서, 지자체의 민원 상황실, 방범 대상 구역을 담당하는 지구대, 자율방범대 중 하나 이상일 수 있다.Here, the above management agency may be one or more of the local government police station or fire station, the local government civil complaint situation room, the district office in charge of the crime prevention target area, or the autonomous crime prevention unit.
그리고 상기 관리 기관은 상기 비상벨장치(20)에서 송신하는 구조요청신호를 모니터링할 수 있으며, 신고자와의 통화 등을 통해 비상 상황의 경중을 고려하여 경찰 등의 관리 인력을 해당 현장으로 출동 및 투입시켜 범죄 등의 비상 상황에 신속히 대처할 수 있도록 지원할 수 있다.In addition, the above management agency can monitor the rescue request signal transmitted from the above emergency bell device (20), and can support a quick response to an emergency situation such as a crime by dispatching and deploying management personnel such as the police to the scene by considering the severity of the emergency situation through a call with the reporter, etc.
상기 비상벨장치(20)는 도면에 도시된 바 없으나 외부로 노출되는 구조요청버튼이 구비되어 사용자의 주도에 따라 구조요청신호를 생성 및 출력할 수 있으며, 상기 관리 기관과의 데이터 통신을 제공하는 통신모듈 및 관리 기관과의 통화 연결을 위한 송수화기를 포함할 수 있다.The above emergency bell device (20) is not shown in the drawing, but is equipped with a rescue request button exposed externally to generate and output a rescue request signal according to the user's command, and may include a communication module that provides data communication with the management agency and a handset for call connection with the management agency.
상기 융합센서부(10)는 이기종의 센서들로 조합되고 각각의 센서들로부터 감지되는 데이터를 융합하여 비식별 이미지를 획득함으로써, 상기 특정 방범대상 공간(1) 내에서 감시 대상자에 대한 동작 인식률을 보다 향상시킬 수 있다.The above fusion sensor unit (10) is composed of heterogeneous sensors and fuses data detected from each sensor to obtain an unidentifiable image, thereby further improving the motion recognition rate for a surveillance target within the specific security target space (1).
여기서 상기 비상벨장치(20)는 범죄에 쉽게 노출될 수 있는 현장에 설치될 수 있는 바, 예를 들면 상기 특정 방범대상 공간(1)은 공중화장실일 수 있다.Here, the above-mentioned emergency bell device (20) can be installed in a place that is easily exposed to crime, for example, the specific crime prevention target space (1) can be a public restroom.
공중화장실의 경우 개인정보보호가 중요시되는 환경적 특성상 영상장치를 활용한 모니터링 환경 구축이 불가하므로 해당 공간에서 감시 대상자를 감지하기 위한 목적으로 상기 융합센서부(10)는 비식별 이미지를 활용하도록 한다.In the case of public restrooms, since it is impossible to establish a monitoring environment using video equipment due to the environmental characteristics that place importance on personal information protection, the fusion sensor unit (10) utilizes an unidentifiable image for the purpose of detecting the subject of surveillance in the space.
이에 상기 융합센서부(10)는 특정 방범대상 공간(1)에 둘 이상 배치되는 이기종의 감지센서(100, 110)를 포함할 수 있으며, 각 감지센서(100, 110)에서 출력되는 데이터를 융합하여 감시 대상자에 대한 비식별 이미지를 획득하고, 획득한 비식별 이미지를 출력할 수 있다.Accordingly, the above-mentioned fusion sensor unit (10) may include two or more heterogeneous detection sensors (100, 110) placed in a specific security target space (1), and may fuse data output from each detection sensor (100, 110) to obtain an unidentifiable image of the surveillance target and output the obtained unidentifiable image.
일 예로 상기 융합센서부(10)는 적외선 센서가 복수로 배열되어 감시 대상자의 온도를 수치화한 픽셀 데이터를 획득하는 적외선 어레이 센서(100)와, ToF(Time to Flight) 센서가 복수로 배열되어 감시 대상자의 거리를 수치화한 픽셀 데이터를 획득하는 ToF 어레이 센서(110)를 포함할 수 있다.For example, the fusion sensor unit (10) may include an infrared array sensor (100) in which a plurality of infrared sensors are arranged to obtain pixel data that digitizes the temperature of the subject of surveillance, and a ToF (Time to Flight) array sensor (110) in which a plurality of ToF sensors are arranged to obtain pixel data that digitizes the distance of the subject of surveillance.
상기 적외선 센서는 열 패턴 검출 특성상 비교적 혈류량이 적은 인체의 말단부(손, 팔, 다리 등)에 대한 특징을 검출하지 못하는 반면, 상기 ToF 센서는 이러한 특징 검출이 가능하다.The above infrared sensor cannot detect features of the extremities of the human body (hands, arms, legs, etc.) with relatively low blood flow due to its thermal pattern detection characteristics, whereas the ToF sensor can detect such features.
그리고 상기 ToF 센서의 경우, 인체와 사물을 구분하지 못하므로 감시영역의 다른 대상물(가방, 의상 등)에 의한 오인식이 발생할 수 있는 반면에 상기 적외선 센서는 발열 정보를 통해 인체의 중심 형상을 특정할 수 있다. In addition, in the case of the above ToF sensor, since it cannot distinguish between a human body and an object, misrecognition may occur due to other objects (bags, clothing, etc.) in the surveillance area, whereas the above infrared sensor can identify the central shape of the human body through heat information.
본 발명에서는 이러한 두 센서 간의 특성을 조합 및 활용하여 감시 대상자의 동작 감지에 필요한 기초데이터 즉 감시 대상자의 얼굴 등 개인정보를 특정할 수 없는 저해상도 비식별 이미지를 보다 명확하게 도출할 수 있게 된다.In the present invention, by combining and utilizing the characteristics of these two sensors, it is possible to more clearly derive basic data necessary for detecting the motion of a subject of surveillance, that is, a low-resolution, non-identifiable image that cannot identify personal information such as the face of the subject of surveillance.
먼저 상기 적외선 어레이 센서(100)와 상기 ToF 어레이 센서(110)에서 각각 출력되는 복수의 픽셀 데이터는 그 초점과 화각(FoV) 등 구조적, 기능적 차이에 의해 보정이 필요하다.First, the plurality of pixel data output from the infrared array sensor (100) and the ToF array sensor (110) respectively need to be corrected due to structural and functional differences such as focus and field of view (FoV).
이에 본 발명의 일 실시 예에 따른 융합센서부(10)는 상기 적외선 어레이 센서(100)와 상기 ToF 어레이 센서(11)에서 각각 출력되는 데이터를 융합하여 동작 분석에 활용될 수 있는 비식별 이미지로 생성하기 위하여, 도 2에 도시된 바와 같이 좌표계 설정모듈(120)과, 해상도 보정모듈(130) 및 데이터 융합모듈(140)을 포함할 수 있다.Accordingly, the fusion sensor unit (10) according to one embodiment of the present invention may include a coordinate system setting module (120), a resolution correction module (130), and a data fusion module (140), as illustrated in FIG. 2, to fuse data output from the infrared array sensor (100) and the ToF array sensor (11) to create an unidentifiable image that can be used for motion analysis.
상기 좌표계 설정모듈(120)은 상기 적외선 어레이 센서와 ToF 어레이 센서의 초점차에 따른 좌표계 오차를 보정할 수 있다.The above coordinate system setting module (120) can correct the coordinate system error according to the focal difference of the infrared array sensor and the ToF array sensor.
그리고 상기 해상도 보정모듈(130)은 상기 적외선 어레이 센서(100)와 ToF 어레이 센서(110)의 화각 차이에 따른 감시대상자의 표출 형상을 보정할 수 있다.And the above resolution correction module (130) can correct the displayed shape of the surveillance target according to the difference in the angle of view of the infrared array sensor (100) and the ToF array sensor (110).
또한 상기 데이터 융합모듈(140)은 상기 좌표계 설정모듈(120)과 해상도 보정모듈(130)에 보정된 적외선 어레이 센서(100)의 픽셀 데이터와 ToF 어레이 센서(110)의 픽셀 데이터를 매칭 및 융합하여 비식별 이미지를 생성할 수 있다.In addition, the data fusion module (140) can match and fuse the pixel data of the infrared array sensor (100) corrected by the coordinate system setting module (120) and the resolution correction module (130) and the pixel data of the ToF array sensor (110) to create an unidentifiable image.
이하에서는 도 3a 내지 도 3c를 참조하여 본 발명의 일 실시 예에 따른 융합센서부(10)의 데이터 융합 과정을 보다 상세히 설명한다.Hereinafter, the data fusion process of the fusion sensor unit (10) according to one embodiment of the present invention will be described in more detail with reference to FIGS. 3a to 3c.
도 3a는 적외선 센서와 ToF 센서로부터 감시 대상자의 측정값을 수신하고 이를 이미지화한 것으로, 적외선 센서는 감시 영역의 온도 정보를 수치화하여 제공하므로, 공간의 온도와 감시대상의 온도차이가 작을 경우 대상 식별이 어려운 저품질 데이터가 생산될 수 있다. 이러한 특성은 도 3a의 ①에서 확인할 수 있다.Figure 3a shows measurements of a surveillance subject received from an infrared sensor and a ToF sensor, which are then visualized. Since the infrared sensor provides temperature information of the surveillance area in numerical form, low-quality data that makes target identification difficult may be produced when the temperature difference between the space and the surveillance subject is small. This characteristic can be confirmed in ① of Figure 3a.
환경적 요인에 강인한 감시 대상자의 동작 형상을 획득하기 위해 전처리 필터를 적용할 수 있다. 일 예로 도 3a의 ②에서와 같이 시그모이드(Sigmoid) 필터를 적용하여, 감시 대상자와 공간 사이의 온도 차이를 분리할 수 있다. 그러나 여전히 감시 대상자에 포함하지 않는 패턴이 확인될 수 있다. Preprocessing filters can be applied to obtain a motion profile of a surveillance subject that is robust to environmental factors. For example, as shown in ② of Figure 3a, a sigmoid filter can be applied to isolate the temperature difference between the surveillance subject and the space. However, patterns not included in the surveillance subject may still be identified.
한편 상기 ToF 어레이 센서(110)는 감시 대상자의 거리를 수치화하며, 도 3a의 ③과 같이 공간과 감시 대상자의 명확한 대비를 보인다. 그러나 두 센서의 초점과 화각 차이로 인해 감시 대상자의 표출 정보는 차이가 있는 것을 확인할 수 있다. Meanwhile, the ToF array sensor (110) quantifies the distance to the surveillance target and shows a clear contrast between the space and the surveillance target, as shown in ③ of Fig. 3a. However, it can be confirmed that the information displayed on the surveillance target differs due to differences in focus and field of view between the two sensors.
도 3a의 ②, ③와 같이 대상의 중심축의 차이는 두 센서의 초점 차이에 의해 발생할 수 있으며, 감시 대상자의 표출되는 픽셀 크기는 두 센서의 화각 차이에 의해 발생할 수 있다.As in ② and ③ of Fig. 3a, the difference in the center axis of the target may be caused by the difference in focus between the two sensors, and the displayed pixel size of the surveillance target may be caused by the difference in the field of view between the two sensors.
이에 본 발명의 융합센서부(10)에서는 상기 적외선 센서와 ToF 센서에서 출력되는 데이터를 융합하기 위해, ToF 센서의 영산 정합 전처리 수행할 수 있다.Accordingly, in the fusion sensor unit (10) of the present invention, in order to fuse the data output from the infrared sensor and the ToF sensor, the ToF sensor's zero-resolution alignment preprocessing can be performed.
일 예로 상기 좌표계 설정모듈(120)은 도 3b ①의 ToF 입력 데이터를 도 3b의 ②와 같은 형상으로 조정할 수 있다. 이때 적외선 센서와 ToF 센서의 초점 거리와 화각 등의 사전 정보를 사용하여 영상 좌표계를 조정할 수 있다.For example, the coordinate system setting module (120) can adjust the ToF input data of Fig. 3b ① to a shape like Fig. 3b ②. At this time, the image coordinate system can be adjusted using prior information such as the focal length and angle of view of the infrared sensor and the ToF sensor.
또한 상기 해상도 보정모듈(130)을 통해 도 3b ②의 데이터를 도 3b의 ③ 형상으로 보정할 수 있다.In addition, the data of FIG. 3b ② can be corrected to the shape of FIG. 3b ③ through the above resolution correction module (130).
이때 원본 이미지에 패딩 픽셀을 추가하고, 풀링 과정을 통해 축소할 수 있다. 그리고 감시 대상자의 외곽(인체 말단부)은 낮은 수치 데이터, 중심부는 높은 수치 데이터를 표출하게 되며, 이러한 전처리 영상의 특징은 적외선 영상의 인체 중심부와 말단부 촬영 특성을 반영하고 있다.At this point, padding pixels can be added to the original image and reduced through a pooling process. The periphery of the subject (the extremities) will display low numerical data, while the center will display high numerical data. These preprocessed image characteristics reflect the characteristics of infrared imaging of the center and extremities of the human body.
이후 상기 융합센서부(10)는 데이터 융합모듈(140)을 통해 감시 대상자의 동작(형상)을 명확하게 인식할 수 있는 비식별 이미지를 획득할 수 있는 바, 이를 도 3c을 통해 확인할 수 있다.Afterwards, the above fusion sensor unit (10) can obtain an unidentifiable image that can clearly recognize the movement (shape) of the surveillance subject through the data fusion module (140), which can be confirmed through FIG. 3c.
일 예로 도3c ①의 적외선 영상과 도 3c ②의 ToF 전처리 영상 값을 사용하여 가중치 마스킹 영상을 처리할 수 있다. 이를 통해 도 3c의 ③과 같은 고품질의 비식별 이미지를 획득할 수 있다. 이와 같이 출력되는 비식별 이미지는 적외선 영상에서 보이는 공간상 열 정보를 최소화하고, 감시 대상자의 동작을 더 명확하게 표출할 수 있게 되는 것이다.For example, the infrared image of Fig. 3c ① and the ToF preprocessing image values of Fig. 3c ② can be used to process a weighted masking image. This allows for the acquisition of a high-quality, non-identifiable image, such as Fig. 3c ③. The non-identifiable image thus output minimizes the spatial thermal information visible in the infrared image, allowing for a clearer representation of the subject's movements.
한편 상기 분석장치(30)는 상기 융합센서부(10)와 같은 특정 방범대상 공간(1)에서 상기 융합센서부(10)에 인접 설치되어 융합센서부(10)로부터 출력되는 저해상도 비식별 이미지를 수신할 수 있다.Meanwhile, the above analysis device (30) is installed adjacent to the fusion sensor unit (10) in a specific security target space (1) such as the fusion sensor unit (10) and can receive a low-resolution unidentifiable image output from the fusion sensor unit (10).
이러한 분석장치(30)는 상기 융합센서부(10)와 비상벨장치(20) 간을 상호 연결시키는 게이트웨이(gateway)의 기능을 수행하는 것으로, 이때 상기 융합센서부(10)와의 통신은 근거리 무선 통신망인 Lora, 블루투스, 지그비, RFID, IR, RF 중 어느 하나를 이용할 수 있으며, 해당 통신망을 적용할 수 있는 통신모듈이 탑재될 수 있다.This analysis device (30) performs the function of a gateway that interconnects the fusion sensor unit (10) and the emergency bell device (20). At this time, communication with the fusion sensor unit (10) can utilize any one of Lora, Bluetooth, Zigbee, RFID, IR, and RF, which are short-range wireless communication networks, and a communication module that can apply the corresponding communication network can be mounted.
상기 분석장치(30)는 상기 융합센서부(10)로부터 수신한 비식별 이미지를 분석하여 상기 감시 대상자에 대한 동작 및 이동성을 판단할 수 있다.The above analysis device (30) can analyze the non-identifiable image received from the fusion sensor unit (10) to determine the movement and mobility of the subject of surveillance.
그리고 상기 분석장치(30)는 판단된 감시 대상자의 동작 및 이동성을 기반으로 행동패턴을 도출하고 도출된 행동패턴으로부터 감시 대상자의 이상행동 여부를 검출할 수 있다.And the above analysis device (30) can derive a behavioral pattern based on the determined movement and mobility of the surveillance subject and detect whether the surveillance subject is behaving abnormally from the derived behavioral pattern.
구체적으로 상기 분석장치(30)는 도 4에 도시된 바와 같이 동작인식부(300)와, 이동성분석부(310)와 패턴도출부(320)와, 이상행동검출부(330) 및 신호전송부(340)를 포함하여 구성될 수 있다.Specifically, the above analysis device (30) may be configured to include a motion recognition unit (300), a mobility analysis unit (310), a pattern extraction unit (320), an abnormal behavior detection unit (330), and a signal transmission unit (340), as illustrated in FIG. 4.
상기 동작인식부(300)는 상기 융합센서부(10)로부터 수신한 비식별 이미지의 형상을 구체화하고 구체화된 이미지 형상을 분류하여 선택된 하나의 동작으로 인식할 수 있다.The above motion recognition unit (300) can specify the shape of an unidentifiable image received from the fusion sensor unit (10) and classify the specified image shape to recognize it as a selected motion.
일 예로 상기 동작인식부(300)는 도 3에 도시된 바와 같이 저해상도 이미지에서 감시 대상자의 동작을 식별하기 위해 동작형상 구체화 작업을 수행하는데, 이때 공지된 보간 방법을 적용하여 구현할 수 있다.For example, the above motion recognition unit (300) performs motion shape concretization work to identify the motion of a surveillance subject in a low-resolution image as illustrated in FIG. 3, and this can be implemented by applying a known interpolation method.
그리고 동작형상 구체화 데이터는 딥러닝 알고리즘을 포함하는 인공지능 기법을 사용하여 동작 분류 작업을 수행할 수 있다.And the motion shape specification data can perform motion classification tasks using artificial intelligence techniques including deep learning algorithms.
상기 이동성분석부(310)는 상기 융합센서부(10)로부터 수신한 비식별 이미지에서 감시 대상자의 이동에 따른 화소 변화를 추적하여 이동방향과 이동속도를 포함하는 이동성을 분석할 수 있다.The above mobility analysis unit (310) can analyze mobility, including movement direction and movement speed, by tracking pixel changes according to the movement of the surveillance subject in the non-identifiable image received from the fusion sensor unit (10).
도 6을 참조하면 상기 이동성분석부(310)는 상기 융합센서부(10)로부터 전달되는 비식별 이미지로부터 시간순으로 연속되는 복수의 이미지 프레임을 획득할 수 있으며, 획득한 복수의 이미지 프레임에서 현재 이미지 프레임과 직전 이미지 프레임과의 차분으로 이동 방향을 확인할 수 있다.Referring to FIG. 6, the mobility analysis unit (310) can obtain multiple image frames sequentially in time from the non-identifiable images transmitted from the fusion sensor unit (10), and can confirm the movement direction by the difference between the current image frame and the previous image frame in the multiple image frames obtained.
그리고 각 이미지 프레임 사이의 시간과 화소의 이동거리로 이동속도를 산출함으로써 움직임 벡터를 추출할 수 있다.And by calculating the movement speed using the time between each image frame and the distance the pixels moved, the motion vector can be extracted.
상기 패턴도출부(320)는 상기 동작인식부(300)에서 인식된 감시 대상자의 동작과 상기 이동성분석부(310)에서 분석된 감시 대상자의 이동성을 취합하여 시계열 형식의 행동패턴으로 도출하여, 최종적으로 감시 대상자에 대한 행위 유형을 추정할 수 있다. The above pattern derivation unit (320) combines the movement of the surveillance subject recognized by the motion recognition unit (300) and the mobility of the surveillance subject analyzed by the mobility analysis unit (310) to derive a behavior pattern in a time series format, thereby ultimately estimating the type of behavior of the surveillance subject.
상기 이상행동검출부(330)는 상기 패턴도출부(320)에서 도출된 행동패턴을 기반으로 불법촬영, 실신, 낙상, 폭행 중 어느 하나의 이상행동을 검출할 수 있다.The above abnormal behavior detection unit (330) can detect any one of the abnormal behaviors among illegal filming, fainting, falling, and assault based on the behavioral pattern derived from the above pattern derivation unit (320).
일 예로 상기 이상행동검출부(330)는 공지의 인공지능 학습 모델을 통해 정의된 다종의 이상행동과의 비교 분석을 통해 상기 패턴도출부(320)에서 도출된 행동패턴이 상기 언급된 이상행동 중 어느 하나에 해당되는지를 검출할 수 있다.For example, the above-mentioned abnormal behavior detection unit (330) can detect whether the behavior pattern derived from the above-mentioned pattern derivation unit (320) corresponds to any one of the above-mentioned abnormal behaviors through comparative analysis with various abnormal behaviors defined through a known artificial intelligence learning model.
즉 상기 이상행동검출부(330)는 상기 패턴도출부(320)에서 추정된 행위 유형과 기학습된 이상행동 간의 유사도 분석을 통해 해당 감시 대상자의 행위 유형이 불법 촬영이나 묻지마 폭행 등의 위법적 행위인지 또는 실신, 낙상 등의 위급 상황인지 검출하게 되는 것이다.That is, the above-mentioned abnormal behavior detection unit (330) analyzes the similarity between the behavior type estimated by the above-mentioned pattern derivation unit (320) and the learned abnormal behavior to detect whether the behavior type of the subject of surveillance is an illegal act such as illegal filming or random assault, or an emergency situation such as fainting or falling.
이때 이상행동을 검출하기 위한 수단은 RNN(Recurrent Neural Networks), LSTM(Long Short-Term Memory model) 등 공지의 인공지능 알고리즘 중 적합한 하나를 선택하여 적용할 수 있으므로 이에 대한 구체적인 설명은 생략한다.At this time, the means for detecting abnormal behavior can be selected and applied by selecting an appropriate one among the known artificial intelligence algorithms such as RNN (Recurrent Neural Networks) and LSTM (Long Short-Term Memory model), so a detailed description thereof is omitted.
상기 신호전송부(340)는 상기 이상행동검출부(330)의 검출결과 즉 감시 대상자의 이상행동 검출에 따라 선택적으로 하나 이상의 대응신호를 출력하고 출력된 하나 이상의 대응신호를 상기 비상벨장치(20)로 송신할 수 있다.The signal transmission unit (340) can selectively output one or more response signals based on the detection result of the abnormal behavior detection unit (330), that is, detection of abnormal behavior of the subject of surveillance, and transmit the output one or more response signals to the emergency bell device (20).
이와 같은 분석장치(30)는 도 1에서 상기 비상벨장치(20)로부터 분리된 구성으로 도시하고 있으나, 본 발명이 이에 한정되는 것은 아니며 상기 비상벨장치(20)에 내장된 형태를 가질 수 있음은 당연하다.Although this type of analysis device (30) is shown as a separate configuration from the emergency bell device (20) in FIG. 1, the present invention is not limited thereto and it is obvious that it may have a form built into the emergency bell device (20).
한편 상기 융합센서부(10)는 상기 방범대상 공간(1) 내에서 둘 이상이 마련되어 센서 네트워크를 구축할 수 있으며, 둘 이상의 개별 저해상도 비식별 이미지를 상기 비상벨장치(20)로 출력할 수 있다.Meanwhile, the above fusion sensor unit (10) can be provided in two or more units within the security target space (1) to build a sensor network, and can output two or more individual low-resolution unidentifiable images to the emergency bell device (20).
이때 둘 이상의 융합센서부(10)는 상기 특정 방범대상 공간(1) 내에서 상호 이격된 위치 설치되거나 또는 하나의 케이싱에 집합 설치되는 것일 수 있다.At this time, two or more fusion sensor units (10) may be installed at mutually spaced locations within the specific security target space (1) or may be installed collectively in one casing.
그리고 상기 분석장치(20)는 둘 이상의 융합센서부(10)에서 출력되는 각각의 저해상도 비식별 이미지를 취합하여 다시점(multi-view) 비식별 이미지 세트로 생성하고, 생성된 다시점 비식별 이미지 세트를 분석하여 상기 감시 대상자에 대한 입체적인 동작을 판단할 수 있다.And the above analysis device (20) can compile each low-resolution non-identifiable image output from two or more fusion sensor units (10) to create a multi-view non-identifiable image set, and analyze the created multi-view non-identifiable image set to determine the three-dimensional movement of the surveillance subject.
이때 상기 다시점 비식별 이미지는 동작 분석을 위한 분류 인공지능 모델의 입력 데이터로 활용될 수 있다.At this time, the above-mentioned re-identified image can be used as input data for a classification artificial intelligence model for motion analysis.
즉 도 7에 도시된 바와 같이 본 발명의 시스템에서는 둘 이상의 융합센서부(10)를 구비하여 방범대상 공간(1) 내에서 센서 네트워크를 구축하고 이들로부터 둘 이상의 개별 저해상도 비식별 이미지를 획득하여 감시 대상자에 대한 깊이 정보를 인식할 수 있게 함으로써, 보다 다양한 동작 인식이 가능해지게 되고 이에 따라 인식의 정확도를 확보할 수 있게 되는 것이다.That is, as illustrated in FIG. 7, the system of the present invention comprises two or more fusion sensor units (10) to construct a sensor network within a security target space (1) and obtain two or more individual low-resolution non-identifiable images from them to recognize depth information about a surveillance target, thereby enabling recognition of more diverse motions and thus ensuring recognition accuracy.
이는 종래 적외선 열화상 카메라와 같이 대상의 깊이(depth)정보를 식별할 수 없는 단점을 보완할 수 있을 뿐 아니라, 레이저 스캐너와 같이 고가의 제품을 사용하지 않고서도 경제적으로 감시 대상자의 깊이 정보를 인식할 수 있게 되는 장점이 있다.This not only complements the disadvantage of conventional infrared thermal imaging cameras that cannot identify the depth information of a target, but also has the advantage of being able to economically recognize the depth information of a surveillance target without using expensive products such as laser scanners.
한편 상기 비상벨장치(20)는 상기 분석장치(30)에서 감시 대상자의 이상행동 검출에 따라 출력되는 대응신호를 수신하고 상기 대응신호의 입력에 응답하여 현장의 위험상황을 시각적 또는 청각적 전파하도록 작동하는 하나 이상의 상황전파모듈(200)을 포함할 수 있다.Meanwhile, the above emergency bell device (20) may include one or more situation transmission modules (200) that receive a response signal output in response to detection of abnormal behavior of a subject of surveillance from the analysis device (30) and operate to visually or audibly transmit a dangerous situation at the scene in response to the input of the response signal.
일 예로 상기 상황전파모듈(200)은 경보음 내지 경고안내음성을 출력하기 위한 스피커와, 비상상황을 육안으로 확인할 수 있게 하는 경광등 또는 디스플레이 등을 포함할 수 있으며, 상기 대응신호의 입력에 연동하여 경보음을 출력하거나 경광등 등을 작동시켜 현장의 비상상황 내지 범죄상황 등을 주변으로 알릴 수 있게 한다.For example, the above situation transmission module (200) may include a speaker for outputting an alarm sound or a warning guidance sound, and a warning light or display, etc., that allows the user to visually confirm an emergency situation, and may output an alarm sound or operate a warning light, etc. in conjunction with the input of the response signal, so as to notify the surroundings of an emergency situation or a crime situation at the scene.
또한 상기 비상벨장치(20)는 상기 분석장치(30)에서 송신하는 대응신호를 수신하고 상기 대응신호의 입력에 응답하여 상기 구조요청신호를 생성하는 자동신호모듈(210)을 더 포함할 수 있다.In addition, the emergency bell device (20) may further include an automatic signal module (210) that receives a response signal transmitted from the analysis device (30) and generates the rescue request signal in response to the input of the response signal.
즉 상기 비상벨장치(20)는 앞서 언급한 바와 같이 구조요청버튼의 조작과 같이 사용자의 주도로 구조요청신호가 생성되는 것에 더하여 상기 분석장치(30)에 의한 감시 대상자의 이상행동 검출 시에 자동으로 구조요청신호가 생성 및 출력되게 하여 관리 기관(40)에 신속한 신고가 이루어질 수 있게 하는 것이다.That is, the above emergency bell device (20) not only generates a rescue request signal at the user's initiative, such as by operating the rescue request button as mentioned above, but also automatically generates and outputs a rescue request signal when the analysis device (30) detects abnormal behavior of the subject of surveillance, thereby enabling a quick report to be made to the management agency (40).
이상에서 본 발명의 바람직한 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims also fall within the scope of the present invention.
10 : 융합센서부 20 : 비상벨장치
30 : 분석장치 40 : 관리기관
100 : 적외선 어레이 센서 110 : ToF 어레이 센서
120 : 좌표계 설정모듈 130 : 해상도 보정모듈
140 : 데이터 융합모듈 200 : 상황전파모듈
210 : 자동신고모듈 300 : 동작인식부
310 : 이동성분석부 320 : 패턴도출부
330 : 이상행동검출부 340 : 신호전송부10: Fusion sensor unit 20: Emergency bell device
30: Analysis device 40: Management agency
100: Infrared array sensor 110: ToF array sensor
120: Coordinate system setting module 130: Resolution correction module
140: Data Fusion Module 200: Situation Propagation Module
210: Automatic reporting module 300: Motion recognition unit
310: Mobility Analysis Department 320: Pattern Derivation Department
330: Abnormal behavior detection unit 340: Signal transmission unit
Claims (8)
상기 융합센서부에서 송신하는 비식별 이미지를 수신하고 수신한 비식별 이미지를 분석하여 상기 감시 대상자에 대한 동작 및 이동성을 판단하며, 판단된 감시 대상자의 동작 및 이동성을 기반으로 행동패턴을 도출하고 도출된 행동패턴으로부터 감시 대상자의 이상행동 여부를 검출 및 출력하는 분석장치; 및
사용자 조작 또는 상기 분석장치에서 출력되는 검출결과에 따라 선택적으로 구조요청신호를 생성하고 이를 하나 이상의 관리 기관으로 송신하면서 현장에서 시각적 또는 청각적으로 전파되도록 작동하는 비상벨장치;를 포함하고,
상기 분석장치는,
상기 융합센서부로부터 수신한 비식별 이미지의 형상을 구체화하고 구체화된 이미지 형상을 분류하여 선택된 하나의 동작으로 인식하는 동작인식부와, 상기 융합센서부로부터 수신한 비식별 이미지에서 감시 대상자의 이동에 따른 화소 변화를 추적하여 이동방향과 이동속도를 포함하는 이동성을 분석하는 이동성분석부와, 상기 동작인식부에서 인식된 감시 대상자의 동작과 상기 이동성분석부에서 분석된 감시 대상자의 이동성을 취합하여 시계열 형식의 행동패턴으로 도출하는 패턴도출부와, 상기 패턴도출부에서 도출된 행동패턴을 기반으로 불법촬영, 실신, 낙상, 폭행 중 어느 하나의 이상행동을 검출하는 이상행동검출부 및 상기 이상행동검출부의 검출결과에 따라 선택적으로 하나 이상의 대응신호를 출력하고 출력된 하나 이상의 대응신호를 상기 비상벨장치로 송신하는 신호전송부를 포함하며,
상기 융합센서부는 둘 이상이 마련되어 센서 네트워크를 구축하되, 상기 특정 방범대상 공간 내에서 둘 이상의 융합센서부가 상호 이격된 위치 설치되고,
상기 분석장치는,
상호 이격된 위치에 설치되는 둘 이상의 융합센서부로부터 출력되는 각각의 개별 비식별 이미지를 취합하여 다시점(multi-view) 비식별 이미지 세트로 생성하고, 생성된 다시점 비식별 이미지 세트를 분석하여 상기 감시 대상자에 대한 입체적인 동작을 판단하는 것을 특징으로 하는 비식별 이미지의 인식률을 향상시킨 융합센서를 탑재한 스마트 비상벨 시스템.
An infrared array sensor installed in a specific surveillance target space, comprising a plurality of infrared sensors arranged to obtain pixel data digitizing the temperature of a surveillance target, and a ToF (Time to Flight) array sensor arranged in a plurality of ToF sensors arranged to obtain pixel data digitizing the distance of a surveillance target, and a fusion sensor unit that fuses data output from each sensor to obtain an unidentifiable image of the surveillance target and outputs the obtained unidentifiable image;
An analysis device that receives an unidentifiable image transmitted from the above fusion sensor unit, analyzes the received unidentifiable image to determine the movement and mobility of the surveillance subject, derives a behavioral pattern based on the determined movement and mobility of the surveillance subject, and detects and outputs whether the surveillance subject is performing abnormal behavior from the derived behavioral pattern; and
An emergency bell device that selectively generates a rescue request signal based on a user operation or a detection result output from the analysis device and transmits the signal to one or more management agencies so that it is transmitted visually or audibly in the field;
The above analysis device,
It includes a motion recognition unit that specifies the shape of an unidentifiable image received from the fusion sensor unit and classifies the specified image shape to recognize it as a selected motion, a mobility analysis unit that analyzes mobility including the direction of movement and the speed of movement by tracking pixel changes according to the movement of a surveillance subject in the unidentifiable image received from the fusion sensor unit, a pattern derivation unit that derives a behavior pattern in a time series format by combining the motion of the surveillance subject recognized by the motion recognition unit and the mobility of the surveillance subject analyzed by the mobility analysis unit, an abnormal behavior detection unit that detects any one of illegal filming, fainting, falling, and assault based on the behavior pattern derived from the pattern derivation unit, and a signal transmission unit that selectively outputs one or more response signals according to the detection result of the abnormal behavior detection unit and transmits the output one or more response signals to the emergency bell device.
The above fusion sensor unit is provided in two or more parts to build a sensor network, and two or more fusion sensor units are installed at mutually separated locations within the specific security target space.
The above analysis device,
A smart emergency bell system equipped with a fusion sensor that improves the recognition rate of de-identified images, characterized in that it collects individual de-identified images output from two or more fusion sensor units installed at mutually separated locations to create a multi-view de-identified image set, and analyzes the created multi-view de-identified image set to determine the three-dimensional movement of the subject of surveillance.
상기 융합센서부는,
상기 적외선 어레이 센서와 ToF 어레이 센서의 초점차에 따른 좌표계 오차를 보정하는 좌표계 설정모듈과, 상기 적외선 어레이 센서와 ToF 어레이 센서의 화각 차이에 따른 감시대상자의 표출 형상을 보정하는 해상도 보정모듈과, 상기 좌표계 설정모듈과 해상도 보정모듈에 보정된 적외선 어레이 센서의 픽셀 데이터와 ToF 어레이 센서의 픽셀 데이터를 매칭 및 융합하여 비식별 이미지를 생성하는 데이터 융합모듈을 포함하는 것을 특징으로 하는 비식별 이미지의 인식률을 향상시킨 융합센서를 탑재한 스마트 비상벨 시스템.
In paragraph 1,
The above fusion sensor part,
A smart emergency bell system equipped with a fusion sensor that improves the recognition rate of an unidentifiable image, characterized by including a coordinate system setting module that corrects a coordinate system error according to a focal difference between the infrared array sensor and the ToF array sensor, a resolution correction module that corrects the displayed shape of a surveillance subject according to a difference in field of view between the infrared array sensor and the ToF array sensor, and a data fusion module that matches and fuses pixel data of the infrared array sensor and pixel data of the ToF array sensor corrected by the coordinate system setting module and the resolution correction module to generate an unidentifiable image.
상기 비상벨장치는,
상기 분석장치에서 송신하는 대응신호를 수신하고 상기 대응신호의 입력에 응답하여 현장의 위험상황을 시각적 또는 청각적 전파하도록 작동하는 하나 이상의 상황전파모듈을 포함하는 것을 특징으로 하는 비식별 이미지의 인식률을 향상시킨 융합센서를 탑재한 스마트 비상벨 시스템.
In paragraph 1,
The above emergency bell device,
A smart emergency bell system equipped with a fusion sensor that improves the recognition rate of anonymized images, characterized by including one or more situation transmission modules that receive a response signal transmitted from the above analysis device and operate to visually or audibly transmit a dangerous situation at the scene in response to the input of the response signal.
상기 비상벨장치는,
상기 분석장치에서 송신하는 대응신호를 수신하고 상기 대응신호의 입력에 응답하여 상기 구조요청 신호를 생성하는 자동신고모듈을 포함하는 것을 특징으로 하는 비식별 이미지의 인식률을 향상시킨 융합센서를 탑재한 스마트 비상벨 시스템.In paragraph 1,
The above emergency bell device,
A smart emergency bell system equipped with a fusion sensor that improves the recognition rate of anonymized images, characterized by including an automatic reporting module that receives a response signal transmitted from the above analysis device and generates the rescue request signal in response to the input of the response signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020250004868A KR102839672B1 (en) | 2025-01-13 | 2025-01-13 | Smart emergency bell system equipped with a fusion sensor that improve recognition rate of de-identification images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020250004868A KR102839672B1 (en) | 2025-01-13 | 2025-01-13 | Smart emergency bell system equipped with a fusion sensor that improve recognition rate of de-identification images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102839672B1 true KR102839672B1 (en) | 2025-08-01 |
Family
ID=96737012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020250004868A Active KR102839672B1 (en) | 2025-01-13 | 2025-01-13 | Smart emergency bell system equipped with a fusion sensor that improve recognition rate of de-identification images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102839672B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150379851A1 (en) * | 2013-01-03 | 2015-12-31 | Icrealisations Bvba | Dual sensor system and related data manipulation methods and uses |
| KR102110945B1 (en) | 2019-08-22 | 2020-05-14 | 조종욱 | Public toilet alarm apparatus with ultrasonic sensor |
| KR102337790B1 (en) | 2021-06-07 | 2021-12-09 | (주)지슨 | Hidden camera detector and method using temperature change |
| KR20220134821A (en) | 2021-03-26 | 2022-10-06 | (주)에이엘씨 | Safe toilte system by using 4d imaging radar sensor |
| KR102486299B1 (en) | 2022-07-25 | 2023-01-10 | (주) 세이프이노베이션 | Non-identification safety sensing system and method |
| KR20240098199A (en) | 2022-12-20 | 2024-06-28 | 한양대학교 산학협력단 | Method and system for generating deep learning based sensor fusion information using dual domain double query to detect 3d object in a multi-sensor environment |
-
2025
- 2025-01-13 KR KR1020250004868A patent/KR102839672B1/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150379851A1 (en) * | 2013-01-03 | 2015-12-31 | Icrealisations Bvba | Dual sensor system and related data manipulation methods and uses |
| KR102110945B1 (en) | 2019-08-22 | 2020-05-14 | 조종욱 | Public toilet alarm apparatus with ultrasonic sensor |
| KR20220134821A (en) | 2021-03-26 | 2022-10-06 | (주)에이엘씨 | Safe toilte system by using 4d imaging radar sensor |
| KR102337790B1 (en) | 2021-06-07 | 2021-12-09 | (주)지슨 | Hidden camera detector and method using temperature change |
| KR102486299B1 (en) | 2022-07-25 | 2023-01-10 | (주) 세이프이노베이션 | Non-identification safety sensing system and method |
| KR20240098199A (en) | 2022-12-20 | 2024-06-28 | 한양대학교 산학협력단 | Method and system for generating deep learning based sensor fusion information using dual domain double query to detect 3d object in a multi-sensor environment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11978256B2 (en) | Face concealment detection | |
| CN108227606B (en) | A ship security intelligent management system based on multi-source perception | |
| KR101850286B1 (en) | A deep learning based image recognition method for CCTV | |
| CN108734055B (en) | Abnormal person detection method, device and system | |
| CN105913559B (en) | A kind of ATM in bank intelligent control method based on body-sensing technology | |
| KR101644443B1 (en) | Warning method and system using prompt situation information data | |
| USRE42690E1 (en) | Abnormality detection and surveillance system | |
| US20220139199A1 (en) | Accurate digital security system, method, and program | |
| KR102015959B1 (en) | INTELLIGENT SECURITY SYSTEM BASED ON DEEP LEARNING USING IoT CAMERA AND METHOD FOR PROCESSING THEREOF | |
| KR101877294B1 (en) | Smart cctv system for crime prevention capable of setting multi situation and recognizing automatic situation by defining several basic behaviors based on organic relation between object, area and object's events | |
| EP2058777A1 (en) | Suspicious behavior detection system and method | |
| AU2020215581B2 (en) | Smart surveillance system for swimming pools | |
| KR102557769B1 (en) | System for detect accident based on cctv using digital twin virtual model | |
| KR20070029760A (en) | monitor | |
| KR20100010325A (en) | Method for tracking object | |
| CN108638082A (en) | Security robot system based on Internet of Things | |
| US11846941B2 (en) | Drone graphical user interface | |
| KR20160074208A (en) | System and method for providing safety service using beacon signals | |
| KR102013235B1 (en) | Old people monitoring system | |
| Nakkach et al. | Smart border surveillance system based on deep learning methods | |
| Ikram et al. | Obstacle detection and warning system for visually impaired using IoT sensors | |
| KR102839672B1 (en) | Smart emergency bell system equipped with a fusion sensor that improve recognition rate of de-identification images | |
| KR102840382B1 (en) | Smart emergency bell system equipped with detection of illegal shooting and dangerous situations using de-identification images | |
| KR20210103172A (en) | Security guard system | |
| Danh et al. | An early drowning detection system capable of locating swimmers in real time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PA0302 | Request for accelerated examination |
St.27 status event code: A-1-2-D10-D17-exm-PA0302 St.27 status event code: A-1-2-D10-D16-exm-PA0302 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| R15-X000 | Change to inventor requested |
St.27 status event code: A-3-3-R10-R15-oth-X000 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |