KR20220002007A

KR20220002007A - 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치 및 방법

Info

Publication number: KR20220002007A
Application number: KR1020200080646A
Authority: KR
Inventors: 김현우; 김태현; 제진명
Original assignee: 김현우; 김태현; 제진명
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2022-01-06

Abstract

딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치 및 방법을 개시한다. 본 발명의 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치는, 감시 영역을 지향하도록 지상 또는 시설물에 설치되는 몸체부, 몸체부의 상부에 회전가능하도록 구성되고, 감시 영역을 지향하여 이미지 또는 동영상을 촬상하는 촬상부, 및 몸체부의 내부에 구성되서 딥러닝 방식으로 사전 훈련된 드론 분류 모델을 탑재하고, 드론 분류 모델에 촬상부에 의해서 촬상된 이미지 또는 동영상의 적어도 일부의 프레임 이미지를 실시간 입력 이미지로써 입력받고, 입력 이미지에 대해서 일반 물체를 포함하는 제1 분류와 드론을 포함하는 제2 분류로 구분하고, 제2 분류로 구분된 입력 이미지에 포함된 드론에 대해서 특징점을 추출하여 등록 드론과 미등록 드론으로 분류하는 드론 분류 처리 모듈을 포함하는 정보 처리부를 포함한다.

Description

딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치 및 방법{Image-based anti-drone detection device and method using deep learning model}

본 발명은 안티 드론 감지 장치 및 방법에 관한 것으로써, 보다 상세하게는 감시 영역에서 실시간으로 촬상되는 이미지를 딥러닝 모델을 이용하여 드론을 감지하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치 및 방법에 관한 것이다.

무인 항공기(Unmanned Aerial Vehicle System 또는 드론(Drone)이라고 불리는 사람이 탑승하지 않고 운행하는 비행체(이하, 드론이라 함)가 다양한 분야에서 활용되고 있다. 드론이 활용되는 분야는 산업 분야에서 다양하게 응용되고 있으며, 산업 분야를 넘어서 군사 분야에 이르기까지 그 적용 분야가 광범위하다. 이렇게 다양하게 드론이 응용됨에 따라 드론으로 인하여 다양한 사회적 문제가 발생될 수 있고, 이렇게 발생되는 사회적 문제는 심각한 결과를 초래할 수도 있다.

예를 들어, 드론을 이용하여 국가 주요 시설에 침투하여 기밀 정보를 스파잉하는 활동을 하거나 화학물질이나 폭파물을 싣고서 건물이나 사람에게 추락하여 살상 활동을 하는 등 심각한 위험을 초래할 수 있는데 드론이 충분히 활용될 수 있다.

하지만, 기존의 레이다를 이용하여 드론을 감지하기에는 드론의 크기가 너무 작은 경우에 유의미한 감지 결과를 얻지 못하고, 감시자인 사람이 망원경이나 카메라를 이용하여 감시할 경우에도 감시 영역을 항상 주시할 수 없기 때문에 드론을 감지하는데 한계점이 있다.

또한, 이러한 드론의 오사용 이외에도 안티 드론의 문제에 대해서도 이를 적절하게 통제하기 위해서는 24시간 자동 감시 시스템에 대한 연구 개발의 필요성이 요구되고 있다.

특허문헌 1 : 한국등록특허 제10-2073162호(2020년03월02일) 특허문헌 2 : 한국공개특허 제10-2020-0023266호(2020년03월04일) 특허문헌 3 : 한국등록특허 제10-2122648호(2020년06월12일)

상술한 필요성에 의해서 안출된 본 발명은 감시 영역을 지향하도록 시설물 또는 지상에 설치되서 감시 영역에 출몰하는 물체를 탐지하고, 탐지된 물체 중 드론을 분류하고, 미분류된 드론에 대해서는 관련 정보를 원격의 서버에 통지할 수 있는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치 및 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명의 일 실시 예에 따르면, 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치에 있어서,

감시 영역을 지향하도록 지상 또는 시설물에 설치되는 몸체부;

상기 몸체부의 상부에 회전가능하도록 구성되고, 상기 감시 영역을 지향하여 이미지 또는 동영상을 촬상하는 촬상부; 및

상기 몸체부의 내부에 구성되서 딥러닝 방식으로 사전 훈련된 드론 분류 모델을 탑재하고, 상기 드론 분류 모델에 상기 촬상부에 의해서 촬상된 이미지 또는 동영상의 적어도 일부의 프레임 이미지를 실시간 입력 이미지로써 입력받고, 상기 입력 이미지에 대해서 일반 물체를 포함하는 제1 분류와 드론을 포함하는 제2 분류로 구분하고, 제2 분류로 구분된 입력 이미지에 포함된 드론에 대해서 특징점(feature point)을 추출하여 등록 드론과 미등록 드론으로 분류하는 드론 분류 처리 모듈을 포함하는 정보 처리부;를 포함한다.

이 경우에, 상기 몸체부는, 상기 설치면과 맞닿는 베이스 부재와 상기 베이스 부재의 상부에서 상기 촬상부를 지지하되 내부에 실장되는 모터부를 포함하는 동력 전달 부재로 구성되고,

일측이 상기 촬상부와 연결되서 설치면과 수평한 제1 시야각에서 천정을 지향하는 제2 시야각까지 회전가능하고 상기 제2 시야각에서 상기 제1 시야각과 180°반대 방향을 지향하는 제3 시야각까지 회전가능하게 하는 틸팅 운동 제어 모듈 및 상기 지지 부재를 시계 방향 또는 반시계 방향으로 회전시키는 로테이션 운동 제어 모듈로 구성되는 상기 모터부를 더 포함한다.

한편, 상기 정보 처리부는, 상기 드론 분류 모델을 저장하는 저장 모듈, 상기 드론 분류 처리 모듈로 제공하기 위해서 상기 입력 이미지의 텐서(tensor)를 생성하여 처리하는 텐서 처리 모듈, 상기 저장 모듈에 저장된 상기 드론 분류 모델을 상기 드론 분류 처리 모듈로 로딩하고, 상기 텐서 처리 모듈에 의해서 생성된 입력 이미지의 텐서를 상기 드론 분류 처리 모듈로 입력하도록 제어하는 제어 모듈을 포함한다.

이 경우에, 상기 텐서 처리 모듈은, 상기 정보 처리부의 입출력 인터페이스에 탈착가능하게 설치되는 엣지 텐서 프로세스 유닛(Edge Tensor Processing Unit)일 수 있다.

한편, 상기 제어 모듈은, 상기 드론 분류 처리 모듈의 결과에 기초하여 상기 촬상부의 지향 각도를 조절할 수 있다.

본 발명의 다른 실시 예에 따른 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치를 이용한 안티 드론 감지 방법은 감시 영역을 지향하도록 지상 또는 시설물에 설치되는 몸체부, 상기 몸체부의 상부에 회전가능하도록 구성되고, 상기 감시 영역을 지향하여 이미지 또는 동영상을 촬상하는 촬상부 및 상기 몸체부의 내부에 구성되서 딥러닝 방식으로 사전 훈련된 드론 분류 모델을 탑재하고, 상기 드론 분류 모델에 상기 촬상부에 의해서 촬상된 이미지 또는 동영상의 적어도 일부의 프레임 이미지를 실시간 입력 이미지로써 입력받고, 상기 입력 이미지에 대해서 일반 물체를 포함하는 제1 분류와 드론을 포함하는 제2 분류로 구분하고, 제2 분류로 구분된 입력 이미지에 포함된 드론에 대해서 특징점(feature point)을 추출하여 등록 드론과 미등록 드론으로 분류하는 드론 분류 처리 모듈을 포함하는 정보 처리부를 포함하는 딥러닝 모델을 이용하되, 상기 정보 처리부는, 상기 감시 영역을 가상의 복수의 영역으로 구획하고, 복수의 영역에 대해서 소정의 시간 간격으로 일부 또는 전부에 대해서 이미지 또는 동영상을 촬상하여 이미지 정보를 획득하는 단계;

상기 정보 처리부는, 상기 획득된 이미지 정보를 상기 드론 분류 모델에 입력 데이터로 입력하여 해당 이미지에 드론이 존재하는지 여부를 판단하는 단계;

상기 정보 처리부는, 해당 이미지에 드론이 포함되는 경우에, 포함된 드론의 특징점을 이용하여 등록 드론 또는 미등록 드론의 등록 여부를 식별하는 단계;

상기 정보 처리부는, 등록 여부를 식별하는 단계에서 미등록 드론으로 식별된 경우에 해당 미등록 드론에 대한 정보를 원격 서버로 전송하는 단계;를 포함한다.

이 경우에, 상기 등록 여부를 식별하는 단계는, 미등록으로 식별된 드론에 대해서 종류를 식별하기 위해서 특징점을 추출하고, 추출된 특징점에 기초하여 해당 드론의 종류를 해당 이미지에 태깅하여 종류를 라벨링하는 단계를 더 포함한다.

한편, 상기 미등록 드론에 대한 정보를 원격 서버로 전송하는 단계는, 라벨링된 미등록 드론에 대해서는 태깅된 값을 함께 전송하고, 라벨링되지 않은 미등록 드론에 대해서는 디폴트 값을 함께 전송한다.

본 발명의 다양한 실시 예에 따르면, 감시 영역을 지향하도록 시설물 또는 지상에 설치되서 감시 영역에 출몰하는 물체를 감시 영역을 24시간 감시하고, 감시영역에 드론을 탐지할 경우에, 탐지된 등록에 대한 등록 또는 미등록 여부를 분류하여 미등록 등록에 대해서 원격의 서버에 정보를 제공하고, 관리자에게 알림 기능을 제공함으로써, 미등록 드론에 의한 보안 이슈를 해결할 수 있는 효과를 발휘한다.

도 1은 본 발명의 일 실시 예에 따른 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치의 세부 구조를 예시적으로 설명하는 도면,
도 2는 본 발명의 일 실시 예에 따른 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치의 외관을 예시적으로 설명하는 도면,
도 3은 도 2에 도시된 장치의 틸팅 및 로테이션 동작을 예시적으로 설명하는 도면,
도 4는 도 2에 도시된 장치의 틸팅 및 로테이션 각도 및 방향을 예시적으로 설명하는 도면,
도 5는 도 4에 도시된 장치의 틸팅 운동에 의한 감시 영역을 가변시키는 일 예를 예시적으로 설명하는 도면,
도 6은 도 4에 도시된 장치의 로테이션 운동에 의한 감시 영역을 가변시키는 일 예를 예시적으로 설명하는 도면,
도 7은 본 발명의 일 실시 예에 따른 미등록 드론에 대한 자동 라벨링을 예시적으로 설명하기 위한 도면, 그리고,
도 8은 본 발명의 다른 실시 예에 따른 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치를 이용한 안티 드론 감지 방법을 예시적으로 설명하는 흐름도.

이하에서 도면을 참고하여 본 발명의 바람직한 실시 예에 대해서 설명한다. 이하에서 설명하는 바람직한 실시 예는 본 발명을 이해하기 위해서 자세하게 설명하기 위한 일 예에 불과하며, 각각의 구성 요소는 실시 예에 따라서는 합쳐지거나 분리되어 구현될 수 있고, 해당 기술 분야의 통상의 지식을 가진 사람에 의해서 본 발명의 기술적 사상의 범위 내에서 변형 실시될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치의 세부 구조를 예시적으로 설명하는 도면이다. 도 1을 참고하면, 안티 드론 감지 장치(100)는 몸체부(110), 촬상부(130), 정보 처리부(150) 및 모터부(170)를 포함한다.

몸체부(110)는 상부에 촬상부(130)와 연결되도록 구성되고, 내부에 정보 처리부(150)를 실장하고 있다. 몸체부(110)는 장치(100)가 감시 영역에 고정 설치될 수 있도록 구성된다. 몸체부(110)는 촬상부(130)의 틸팅 운동 및 로테이션 운동을 가능하도록 연결되고, 촬상부(130)에 제공되는 운동 에너지를 공급하는 모터부(170)를 내부에 실장하여 구성한다.

촬상부(130)는 몸체부(110)의 상부에 위치하되, 몸체부(110)의 내부에 구성된 모터부(170)로부터 운동 에너지를 공급받아서, 틸팅 운동 및 로테이션 운동을 하도록 구성될 수 있다. 촬상부(130)는 감시 영역에 대한 실시간 이미지 및 동영상을 촬상할 수 있도록 고화질의 카메라로 구성될 수 있다. 촬상부(130)는 유선 또는 무선 방ㅅ딕으로 정보 처리부(150)와 연결될 수 있다. 촬상부(130)는 정보 처리부(150)의 제어 신호에 의해서 구동되는 모터부(170)의 틸팅 운동 또는 로테이션 운동에 의해서 감시 영역을 지향하는 각도가 조절될 수 있다. 또한, 촬상부(130)는 정보 처리부(150)의 촬영 제어 신호에 의해서 다양한 조건에 따른 이미지 및 동영상 촬상을 하고, 촬상된 이미지 데이터를 정보 처리부(150)로 전송할 수 있다.

정보 처리부(150)는 촬상부(130)에서 가져온 영상 정보를 사전 학습된 딥러닝 모델을 통하여 드론을 식별할 수 있다. 정보 처리부(150)는 FLASK 웹 서버를 생성하고 OPEN CV로 가시성을 높인 영상 정보를 스트리밍할 수 있도록 웹 서비스를 제공한다. 정보 처리부(150)는 식별된 드론을 쫓아가도록 모터를 제어할 수 있다.정보 처리부(150)는 영상정보를 웹 스트리밍 할 수 있다.

구체적으로, 정보 처리부(150)는 몸체부(110)의 내부 공간에 실장되도록 설치된다. 정보 처리부(150)는 다양한 입출력 인터페이스를 구비한 PCB 보드, 저장 모듈(내장 메모리 및 내장 저장 장치) 및 정보 처리 모듈을 포함하는 프로그램 가능한 싱글 보드 컴퓨터로 구성될 수 있다.

정보 처리부(150)는 외부 서버에서 딥러닝 방식으로 사전 훈련된 드론 분류 모델을 전송받아서 저장 모듈에 저장한다. 정보 처리부(150)는 촬상부(130)에 의해서 촬상된 이미지 또는 동영상의 적어도 일부의 프레임 이미지를 실시간 입력 이미지로써 입력받는다. 정보 처리부(150)는 저장 모듈에 저장된 드론 분류 모델을 독출하고, 독출된 드론 분류 모델에 실시간 입력되는 입력 이미지 정보를 입력 데이터로 입력하여 이미지 속에 드론이 포함되어 있는지 여부를 분류하는 작업을 수행한다. 정보 처리부(150)는 실시간 입력되는 입력 이미지에 대해서 일반 물체를 포함하는 경우에는 해당 이미지를 제1 분류 이미지로 분류하고, 드론을 포함하는 경우에는 해당 이미지를 제2 분류 이미지로 분류한다. 정보 처리부(150)는 제2 분류 이미지에 대해서 이미지에 포함된 드론에 대한 특징점(feature point)을 추출한다. 정보 처리부(150)는 드론 분류 모델을 이용하여 드론에 포함된 특징점을 추출하여 해당 드론이 등록 드론인지 아니면 미등록 드론인지 여부를 식별할 수 있다. 여기서 사용되는 이미지 분류 방식은 R-CNN(Region- Convolutional Neural Network), Yolo(You only Look Once), SSD(Single Shot Detector) 등의 실시간 이미지 검출 모델을 이용할 수 있다. 이러한 이미지 분류기 이외에도 다양한 이미지 기반 딥러닝 모델 분류기를 적용할 수 있다.

CNN은 정확도 높은 객체 추출이 가능하지만, 윈도우 검출 슬라이딩에서 획득한 수많은 이미지를 CNN으로 실행하는 것은 불가능하다. 이를 개선하기 위하여 영역(region)을 고려한 R-CNN라는 알고리즘을 사용하여 이 문제를 해결한다. R-CNN은 객체 분류에 필요한 경계 상자의 수를 줄일 수 있고, 선택적 검색을 위해서 질감, 강도, 컬러, insideness 등의 로컬 정보를 사용하는 알고리즘 방식이다.

YOLO는 각 이미지를 S x S 개의 그리드로 분할하고, 그리드의 신뢰도를 계산한다. 신뢰도는 그리드 내 객체 인식 시 정확성을 반영한다. 처음에는 객체 인식과는 동떨어진 경계 상자가 설정되지만, 신뢰도를 계산하여 경계 상자의 위치를 조정함으로써, 가장 높은 객체 인식 정확성을 가지는 경계 상자를 얻을 수 있는 방식을 채택하고 있다. 그리드에 객체 포함 여부를 계산하기 위해, 객체 클래스 점수를 계산한다. 이 결과로 총 S x S x N 객체가 예측된다. 이 그리드의 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있다. 이후, 임계값을 설정해 불필요한 부분은 제거할 수 있다. 아래 그림과 같이 30% 신뢰도를 설정하면, 많은 그리드는 제외된다. YOLO는 단순한 처리로 속도가 매우 빠르다. 기존의 다른 실시간(real-time) 비전 기술과 비교할 때, 2배 정도 높은 성능을 보인다. 이미지 전체를 한 번에 바라보는 방식으로 클래스를 분별한다. YOLO는 Darknet 프레임웍 기반으로 동작한다.

SSD는 객체 검출 속도 및 정확도 사이의 균형이 있는 알고리즘이다. SSD는 한 번만 입력 이미지에 대한 CNN을 실행하고 특징 맵(feature map)을 계산한다. 경계 상자 및 객체 분류 확률을 예측하기 위해 이 특징 맵을 3 × 3 크기로 CNN을 수행한다. SSD는 CNN처리 후 경계 상자를 예측한다. 이 방법은 다양한 스케일의 물체를 검출 할 수 있다.

정보 처리부(150)는 드론 분류 모델을 저장하는 저장 모듈(151), 텐서 처리 모듈(152), 드론 분류 처리 모듈(153) 및 제어 모듈(154)를 포함한다. 정보 처리부(150)의 제어 모듈(154)은 저장 모듈(151)에 저장된 드론 분류 모델을 드론 분류 처리 모듈(153)로 로딩하도록 저장 모듈(151)을 제어한다.

또한, 정보 처리부(150)의 제어 모듈(154)은 실시간으로 입력되는 입력 이미지를 텐서(tensor)로 생성할 수 있도록 텐서 처리 모듈(152)을 제어한다. 여기서, 텐서 처리 모듈(152)은 정보 처리부(150)의 자체적으로 내장된 모듈로 구현될 수 있지만, 경우에 따라서는 인터페이스를 통해서 확장된 모듈로 구현될 수 있다. 확장된 모듈로 구현할 경우에 정보 처리부(150)의 입출력 인터페이스에 탈착가능하게 설치되는 엣지 텐서 프로세스 유닛(Edge Tensor Processing Unit)으로 구현될 수 있다.

또한, 정보 처리부(150)의 제어 모듈(154)은 저장 모듈(151)에 저장된 드론 분류 모델을 드론 분류 처리 모듈(153)로 로딩하도록 제어하고, 텐서 처리 모듈(152)에 의해서 실시간으로 처리되는 입력 이미지의 텐서를 드론 분류 처리 모듈(153)로 입력하도록 제어한다.

또한, 정보 처리부(150)의 제어 모듈(154)은 드론 분류 처리 모듈(153)의 결과값에 기초하여 촬상부(130)의 지향 각도를 제어할 수 있다. 또는 정보 처리부(150)의 제어 모듈(154)은 드론 분류 처리 모듈(153)의 결과값에 기초하여 알림 메시지를 생성하거나 미등록 드론에 관한 정보를 생성하여 통신 모듈(155)를 통해서 원격의 서버 또는 사용자 단말로 전송할 수 있다.

모터부(170)는 정보 처리부(150)의 제어에 따라 촬상부(130)의 지향 각도를 제어하기 위한 틸팅 운동 에너지 및 로테이션 운동 에너지를 공급한다. 모터부(170)는 2축 제어가능한 서보 모터로 구성될 수 있다. 제1축은 틸팅 운동 에너지를 위한 축으로 사용될 수 있고, 제2축은 로테이션 운동 에너지를 위한 축으로 사용될 수 있다. 감지 장치(100)의 모터부(170)는 PAN/TILTS 2자유도로 디자인됨으로써 드론이 비행하는 영역에 대해서 보다 넓게 효율적으로 탐색할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치의 외관을 예시적으로 설명하는 도면이다. 도 2를 참고하면, 몸체부(110)는 설치 대상(예, 지표면 또는 지표면에 설치된 기타 구조체)에 고정되도록 설치될 수 있다. 몸체부(110)는 설치 대상에 나사 체결 방식으로 고정될 수 있다. 구체적으로, 몸체부(110)는 설치 대상에 접하도록 설치되는 베이스 부재(111)와 베이스 부재(111)의 중심 영역에서 수직하게 형성되고, 내부에 촬상부(130)와 연결되서 촬상부(130)의 틸팅/로테이션을 위한 운동력을 제공하는 모터부(170)를 실장하는 동력 전달 부재(113)로 구성될 수 있다. 여기서, 동력 전달 부재(113)는 모터부(170)에 의해서 제공되는 기계적 운동에너지를 촬상부(130)에 전달함으로써, 촬상부(130)를 틸팅(tilting)하거나 로테이션(rotation)할 수 있도록 한다.

도 3은 도 2에 도시된 장치의 틸팅 및 로테이션 동작을 예시적으로 설명하는 도면이다. 도 3(a)를 참고하면, 기준면은 장치(100)가 설치된 설치면의 평행면을 의미한다. 장치(100)의 기준 시각은 기준면을 평행하게 지향하는 방향과 일치한다. 실시 예에 따라서는 장치(100)의 기준 시각을 다르게 지향하도록 설정할 수도 있다.

도 3(b)를 참고하면, 촬상부(130)는 제1 시각으로 감시 영역을 지향한 상태를 확인할 수 있다. 여기서, 제1 시각은 촬상부(130)가 기준면에 대해서 수평하게(horizontal) 기 결정된 각도(θ1)만큼 로테이션된 상태를 의미한다. 촬상부(130)는 모터부(170)로부터 제공되는 로테이션 운동 에너지를 이용하여 기준면에 대해서 시계 방향 또는 반시계 방향으로 소정의 각도로 로테이션 운동을 할 수 있다.

도 3(c)를 참고하면, 촬상부(130)는 제2 시각으로 감시 영역을 지향한 상태를 확인할 수 있다. 여기서, 제2 시각은 촬상부(130)가 기준면에 대해서 기 결정된 각도(θ1)만큼 버티컬(vertical) 방향으로 틸팅된 상태를 의미한다. 촬상부(130)는 모터부(170)로부터 제공되는 틸팅 운동 에너지를 이용하여 기준면에 대해서 수직 방향으로 소정의 각도로 틸팅 운동을 할 수 있다.

실시 예에 따라서는 촬상부(130)는 정보 처리부(150)의 제어에 따라 모터부(170)의 틸팅 운동 에너지 및 로테이션 운동 에너지를 동시에 제공받음으로써, 틸팅 운동과 로테이션을 동시에 함으로써, 소정의 위치의 감시 영역을 지향하도록 제어할 수 있다. 이에 대해서 보다 구체적으로는 이하 별도의 도면을 참고하여 설명한다.

도 4는 도 2에 도시된 장치의 틸팅 및 로테이션 각도 및 방향을 예시적으로 설명하는 도면이다. 도 4를 참고하면, 몸체부(110)는 모터부(170)의 운동에너지를 촬상부(130)에 공급함으로써, 2축 자유도로 촬상부(130)를 제어할 수 있다.

구체적으로 살펴보면, 촬상부(130)는 기본적으로 제1 시점(0°)으로 설정된 경우에 지표면에 평행하게 소정의 위치를 지향하게 된다. 제1 시점(0°)은 로테이션이 되지 않은 상태를 의미하고, 제1 시점(0°)에서 천정 방향으로 틸팅됨으로써, 제2 시점(90°)을 지향하게 될 수 있다. 제1 시점(0°)에서 제2 시점(90°)은 선형적으로 제어가 가능하며, 0.1 내지 1°단위로 조절할 수 있다. 촬상부(130)는 제1 시점에 반대 방향을 지향하는 제3 시점(180°)까지 틸팅 운동을 할 수 있다.

촬상부(130)는 틸팅 운동 이외에도 로테이션 운동을 할 수 있다. 예를 들어, 제1 시점(0°)에서 로테이션을 하지 않는 시점을 제1 기준 점으로 가정하면, 제1 기준점에서 회전 방향을 반시계 방향(회전 A) 또는 시계 방향(회전 B)으로 소정의 각도만큼 로테이션 운동을 할 수 있다. 여기서, 로테이션 각도는 0°에서 360° 범위에서 다양하게 설정될 수 있다.

도 5는 도 4에 도시된 장치의 틸팅 운동에 의한 감시 영역을 가변시키는 일 예를 예시적으로 설명하는 도면이다. 도 5를 참고하면, 감지 장치(100)는 소정의 시간 간격으로 복수의 감시 영역을 순차적으로 감시함으로써, 보다 넓은 영역의 감시 영역을 감시할 수 있다. 예컨대, 현 감시 영역 이전에 이전 감시 영역을 감시하다가 소정의 시간 동안 드론을 감지하지 못할 경우에, 다음 감시 영역으로 촬상부(130)의 시점을 이동시킨다. 현 감시 영역에는 드론(DR)이 감지되면, 감지된 드론에 대한 분류 작업을 수행하고, 등록 드론 또는 미등록 드론인지를 판단하여 판단된 결과를 원격의 서버로 전송한다. 도 5에서는 상부에서 하부로 스캐닝하는 방식으로 감시 영역을 이동하였지만, 경우에 따라서는 하부에서 상부로 스캐닝하는 방식으로 감시 영역을 버티컬 방향으로 이동할 수도 있다.

도 6은 도 4에 도시된 장치의 로테이션 운동에 의한 감시 영역을 가변시키는 일 예를 예시적으로 설명하는 도면이다. 도 6을 참고하면, 감지 장치(100)는 소정의 시간 간격으로 복수의 감시 영역을 순차적으로 감시함으로써, 보다 넓은 영역의 감시 영역을 감시할 수 있다. 예컨대, 현 감시 영역 이전에 이전 감시 영역을 감시하다가 소정의 시간 동안 드론을 감지하지 못할 경우에, 다음 감시 영역으로 촬상부(130)의 시점을 이동시킨다. 현 감시 영역에는 드론(DR)이 감지되면, 감지된 드론에 대한 분류 작업을 수행하고, 등록 드론 또는 미등록 드론인지를 판단하여 판단된 결과를 원격의 서버로 전송한다. 도 6에서는 좌측에서 우측 방향으로(시계 방향) 스캐닝하는 방식으로 감시 영역을 이동하였지만, 경우에 따라서는 우측에서 좌측 방향으로 스캐닝하는 방식으로 감시 영역을 수평의(horizontal) 방향으로 이동할 수도 있다.

도 7은 본 발명의 일 실시 예에 따른 미등록 드론에 대한 자동 라벨링을 예시적으로 설명하기 위한 도면이다. 도 7을 참고하면, 감지 장치(100)는 현 감시 영역에서 드론의 존재를 감지하면, 해당 드론에 대한 종류를 판단한다. 여기서, 드론의 종류를 판단하기 위해서 이미지 속에 포함된 드론의 특징점을 추출하고, 특징점에 근거하여 해당 드론의 종류를 분류한다. 만약, 해당 드론에 대한 특징점 정보에 의해서 종류를 분류하지 못할 경우에는 해당 이미지에 포함된 드론에 대해서 기 결정된 디폴트 값을 태깅한다. 사전 훈련된 드론 분류 모델에 의해서 해당 드론에 대한 종류를 분류하면, 분류된 정보를 해당 이미지에 태깅하고, 이를 원격의 서버로 전송한다. 또한, 감지 장치(100)는 해당 드론 이미지를 딥러닝 모델링 서버(200)로 전송하여 라벨링된 이미지로 제공함으로써, 지도 학습을 위한 훈련 데이터로 제공할 수 있다.

도 8은 본 발명의 다른 실시 예에 따른 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치를 이용한 안티 드론 감지 방법을 예시적으로 설명하는 흐름도이다. 도 8을 참고하면,안티 드론 감지 방법은 감시 영역을 가상의 복수의 영역으로 구획하고 복수의 영역에 대해서 소정의 시간 간격으로 일부 또는 전부에 대해서 이미지 또는 동영상을 촬상하여 이미지 정보를 획득하는 단계(S810), 획득된 이미지 정보를 드론 분류 모델에 입력 데이터로 입력하여 해당 이미지에 드론이 존재하는지 여부를 판단하는 단계(S820), 해당 이미지에 드론이 포함되는 경우에 포함된 드론의 특징점을 이용하여 등록 드론 또는 미등록 드론의 등록 여부를 식별하는 단계(S830), 등록 여부를 식별하는 단계(S820)에서 미등록 드론으로 식별된 경우에 해당 미등록 드론에 대한 정보를 원격 서버로 전송하는 단계(S840)를 포함한다.

드론의 등록 여부를 식별하는 단계(830)에서는 미등록으로 식별된 드론에 대해서 종류를 식별하기 위해서 특징점을 추출하는 단계와 추출된 특징점에 기초하여 해당 드론의 종류를 해당 이미지에 태깅하여 종류를 라벨링하는 단계를 더 포함한다.

또한, 미등록 드론에 대한 정보를 원격 서버로 전송하는 단계(850)는, 라벨링된 미등록 드론에 대해서는 태깅된 값을 함께 전송하고, 라벨링되지 않은 미등록 드론에 대해서는 디폴트 값을 함께 전송한다.

이상에서는 본 발명의 바람직한 실시 예에 대해서 설명하였다. 본 발명의 기술적 사상의 범위 이내에서는 상술한 구성 요소는 하나의 통합 모듈로 구현될 수도 있고, 별도의 개별 모듈로 구현될 수도 있다.

100 : 안티 드론 감지 장치 110 : 몸체부
111 : 베이스 부재 113 : 동력 전달 부재
130 : 촬상부 150 : 정보 처리부
151 : 저장 모듈 152 : 텐서 처리 모듈
153 : 드론 분류 처리 모듈 154 : 제어 모듈
170 : 모터부

Claims

딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치에 있어서,
감시 영역을 지향하도록 지상 또는 시설물에 설치되는 몸체부;
상기 몸체부의 상부에 회전가능하도록 구성되고, 상기 감시 영역을 지향하여 이미지 또는 동영상을 촬상하는 촬상부; 및
상기 몸체부의 내부에 구성되서 딥러닝 방식으로 사전 훈련된 드론 분류 모델을 탑재하고, 상기 드론 분류 모델에 상기 촬상부에 의해서 촬상된 이미지 또는 동영상의 적어도 일부의 프레임 이미지를 실시간 입력 이미지로써 입력받고, 상기 입력 이미지에 대해서 일반 물체를 포함하는 제1 분류와 드론을 포함하는 제2 분류로 구분하고, 제2 분류로 구분된 입력 이미지에 포함된 드론에 대해서 특징점(feature point)을 추출하여 등록 드론과 미등록 드론으로 분류하는 드론 분류 처리 모듈을 포함하는 정보 처리부;를 포함하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치.
제1 항에 있어서,
상기 몸체부는, 상기 설치면과 맞닿는 베이스 부재와 상기 베이스 부재의 상부에서 상기 촬상부를 지지하되 내부에 실장되는 모터부를 포함하는 동력 전달 부재로 구성되고,
일측이 상기 촬상부와 연결되서 설치면과 수평한 제1 시야각에서 천정을 지향하는 제2 시야각까지 회전가능하고 상기 제2 시야각에서 상기 제1 시야각과 180°반대 방향을 지향하는 제3 시야각까지 회전가능하게 하는 틸팅 운동 제어 모듈 및 상기 지지 부재를 시계 방향 또는 반시계 방향으로 회전시키는 로테이션 운동 제어 모듈로 구성되는 상기 모터부를 더 포함하는 것을 특징으로 하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치.
제1 항에 있어서,
상기 정보 처리부는, 상기 드론 분류 모델을 저장하는 저장 모듈, 상기 드론 분류 처리 모듈로 제공하기 위해서 상기 입력 이미지의 텐서(tensor)를 생성하여 처리하는 텐서 처리 모듈, 상기 저장 모듈에 저장된 상기 드론 분류 모델을 상기 드론 분류 처리 모듈로 로딩하고, 상기 텐서 처리 모듈에 의해서 생성된 입력 이미지의 텐서를 상기 드론 분류 처리 모듈로 입력하도록 제어하는 제어 모듈을 포함하는 것을 특징으로 하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치.
제3 항에 있어서,
상기 텐서 처리 모듈은, 상기 정보 처리부의 입출력 인터페이스에 탈착가능하게 설치되는 엣지 텐서 프로세스 유닛(Edge Tensor Processing Unit)인 것을 특징으로 하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치.
제3 항에 있어서,
상기 제어 모듈은, 상기 드론 분류 처리 모듈의 결과에 기초하여 상기 촬상부의 지향 각도를 조절하는 것을 특징으로 하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치.
감시 영역을 지향하도록 지상 또는 시설물에 설치되는 몸체부, 상기 몸체부의 상부에 회전가능하도록 구성되고, 상기 감시 영역을 지향하여 이미지 또는 동영상을 촬상하는 촬상부 및 상기 몸체부의 내부에 구성되서 딥러닝 방식으로 사전 훈련된 드론 분류 모델을 탑재하고, 상기 드론 분류 모델에 상기 촬상부에 의해서 촬상된 이미지 또는 동영상의 적어도 일부의 프레임 이미지를 실시간 입력 이미지로써 입력받고, 상기 입력 이미지에 대해서 일반 물체를 포함하는 제1 분류와 드론을 포함하는 제2 분류로 구분하고, 제2 분류로 구분된 입력 이미지에 포함된 드론에 대해서 특징점(feature point)을 추출하여 등록 드론과 미등록 드론으로 분류하는 드론 분류 처리 모듈을 포함하는 정보 처리부를 포함하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 장치를 이용한 안티 드론 감지 방법에 있어서,
상기 정보 처리부는, 상기 감시 영역을 가상의 복수의 영역으로 구획하고, 복수의 영역에 대해서 소정의 시간 간격으로 일부 또는 전부에 대해서 이미지 또는 동영상을 촬상하여 이미지 정보를 획득하는 단계;
상기 정보 처리부는, 상기 획득된 이미지 정보를 상기 드론 분류 모델에 입력 데이터로 입력하여 해당 이미지에 드론이 존재하는지 여부를 판단하는 단계;
상기 정보 처리부는, 해당 이미지에 드론이 포함되는 경우에, 포함된 드론의 특징점을 이용하여 등록 드론 또는 미등록 드론의 등록 여부를 식별하는 단계;
상기 정보 처리부는, 등록 여부를 식별하는 단계에서 미등록 드론으로 식별된 경우에 해당 미등록 드론에 대한 정보를 원격 서버로 전송하는 단계;를 포함하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 방법.
제6 항에 있어서,
상기 등록 여부를 식별하는 단계는, 미등록으로 식별된 드론에 대해서 종류를 식별하기 위해서 특징점을 추출하고, 추출된 특징점에 기초하여 해당 드론의 종류를 해당 이미지에 태깅하여 종류를 라벨링하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 방법.
제7 항에 있어서,
상기 미등록 드론에 대한 정보를 원격 서버로 전송하는 단계는, 라벨링된 미등록 드론에 대해서는 태깅된 값을 함께 전송하고, 라벨링되지 않은 미등록 드론에 대해서는 디폴트 값을 함께 전송하는 것을 특징으로 하는 딥러닝 모델을 이용한 이미지 기반 안티 드론 감지 방법.