DE102023121962A1

DE102023121962A1 - Mobile system for detecting concealed weapons

Info

Publication number: DE102023121962A1
Application number: DE102023121962.6A
Authority: DE
Inventors: Hans-Peter Fischer; Elmar Will
Original assignee: Hans Peter Fischer und Elmar Will GbR Vertretungsberechtigter Ges Elmar Will Rorschacherberg; Hans Peter Fischer und Elmar Will GbR Vertretungsberechtigter Gesellschafter Elmar Will Rorschacherberg
Current assignee: Hans Peter Fischer und Elmar Will GbR Vertretungsberechtigter Ges Elmar Will Rorschacherberg; Hans Peter Fischer und Elmar Will GbR Vertretungsberechtigter Gesellschafter Elmar Will Rorschacherberg
Priority date: 2023-08-16
Filing date: 2023-08-16
Publication date: 2025-02-20

Abstract

Ein mobiles System zum Erkennen einer durch eine Person verdeckt getragenen Waffe weist eine Radareinheit, eine Wärmebildkamera, eine Recheneinheit, eine Mensch-Maschine-Schnittstelle und eine Energiequelle auf. Die Energiequelle versorgt das System mit Energie. Die Radareinheit tastet ein Volumen ab und gibt ein Radarsignal aus. Die Wärmebildkamera gibt ein ortsaufgelöstes Infrarotbild als Infrarotsignal aus. Die Recheneinheit steuert die Radareinheit und die Wärmebildkamera, erhält das Radarsignal und das Infrarotsignal, und gewinnst aus den Signalen ein ortsaufgelöstes Radarbild und ein ortsaufgelöste Infrarotbild. Anschließend kombiniert die Recheneinheit das Radarbild und das Infrarotbild rechnerisch zur Bildung eines Kombinationsbilds. Aus dem Kombinationsbild bildet die Recheneinheit rechnerisch durch Kantendetektion ein Kantenbild und detektiert in diesem rechnerisch durch Bildanalyse eine verdeckte Waffe. Wenn in dem Kantenbild eine verdeckte Waffe detektiert wurde, gibt die Recheneinheit ein Signal an die Mensch-Maschine-Schnittstelle aus.

A mobile system for detecting a weapon concealed by a person has a radar unit, a thermal imaging camera, a computing unit, a human-machine interface, and an energy source. The energy source supplies the system with energy. The radar unit scans a volume and outputs a radar signal. The thermal imaging camera outputs a spatially resolved infrared image as an infrared signal. The computing unit controls the radar unit and the thermal imaging camera, receives the radar signal and the infrared signal, and uses the signals to obtain a spatially resolved radar image and a spatially resolved infrared image. The computing unit then mathematically combines the radar image and the infrared image to form a combination image. From the combination image, the computing unit mathematically creates an edge image using edge detection and mathematically detects a concealed weapon in this using image analysis. If a concealed weapon is detected in the edge image, the computing unit outputs a signal to the human-machine interface.

Description

Die vorliegende Erfindung betrifft ein mobiles System zum Erkennen von durch eine Person verdeckt getragenen Waffen.The present invention relates to a mobile system for detecting weapons concealed by a person.

Von Waffen geht eine erhebliche Gefährdung der öffentlichen Sicherheit und Ordnung aus. Das (Mit-)Führen von Waffen unterliegt daher in der Regel Einschränkungen. Je nach nationalem Recht ist das Führen von Waffen generell auf einen bestimmten Personenkreis beschränkt (wie beispielsweise Soldaten, Polizisten und Jäger) oder zeitlich (wie beispielsweise Nachts) und/oder örtlich (wie beispielsweise an besonders gefährdeten Orten wie Schulen, Bahnhöfen, Flughäfen, Behörden oder Kirchen) beschränkt und dann nur einem bestimmten Personenkreis erlaubt.Weapons pose a significant threat to public safety and order. Carrying or carrying weapons is therefore generally subject to restrictions. Depending on national law, carrying weapons is generally restricted to a certain group of people (such as soldiers, police officers and hunters) or limited in time (such as at night) and/or location (such as in particularly vulnerable places such as schools, train stations, airports, authorities or churches) and is then only permitted to a certain group of people.

Zur Wahrung der öffentlichen Sicherheit und Ordnung besteht daher ein großes Interesse daran, durch eine Person getragene Waffen zuverlässig zu erkennen, selbst wenn diese visuell nicht sichtbar und damit verdeckt sind.In order to maintain public safety and order, there is therefore a great interest in reliably detecting weapons carried by a person, even if they are not visually visible and therefore concealed.

Zur Erkennung von durch eine Person verdeckt getragenen Waffen werden herkömmlicherweise Metalldetektoren verwendet, die als Durchgangsdetektoren ausgebildet sind. Die äußere Form eines Durchgangsdetektors ähnelt einem Türrahmen. Metalldetektoren arbeiten üblicherweise mit elektromagnetischen Feldern. In jüngerer Zeit sind auch sogenannte Körperscanner entwickelt worden, die mit Röntgenstrahlung oder Terahertzstrahlung (im elektromagnetischen Spektrum zwischen Infrarotstrahlung und Mikrowellen) arbeiten, und es erlauben, Gegenstände unter der Kleidung einer Person abzubilden.Metal detectors designed as walk-through detectors are traditionally used to detect weapons concealed by a person. The external shape of a walk-through detector resembles a door frame. Metal detectors usually work with electromagnetic fields. More recently, so-called body scanners have been developed that work with X-rays or terahertz radiation (in the electromagnetic spectrum between infrared radiation and microwaves) and allow objects to be imaged under a person's clothing.

Das Dokument EP 2 960 685 A2 gibt einen Überblick über bekannte Systeme und schlägt vor, Waffen anhand ihrer Radarsignatur zu erkennen. Hierfür wird ein betrachtetes Objekt mit elektromagnetischen Wellen im Hochfrequenz- oder Mikrowellenbereich bestrahlt (Primärsignal), und die von Objekten reflektierten Echos des Primärsignals als Sekundärsignal empfängt und Kriterien ausgewertet. Dabei können für das Senden mehrerer zueinander orthogonal polarisierter Primärsignale zwei Sendeantennen und für den Empfang von zwei zueinander orthogonal polarisierter Sekundärsignale zwei Empfangsantennen verwendet werden. Das Sekundärsignal wird dann mit einem statistischen Modell verglichen, um zu erkennen, ob das Sekundärsignal auf das Vorhandensein einer Waffe schließen lässt. Das statistische Modell kann mittels eines neuronalen Netzes durch maschinelles Lernen aus Trainingsdaten gewonnen sein.The document EP 2 960 685 A2 gives an overview of known systems and suggests detecting weapons based on their radar signature. To do this, an object under observation is irradiated with electromagnetic waves in the high frequency or microwave range (primary signal), and the echoes of the primary signal reflected by objects are received as a secondary signal and criteria are evaluated. Two transmitting antennas can be used to send several orthogonally polarized primary signals and two receiving antennas can be used to receive two orthogonally polarized secondary signals. The secondary signal is then compared with a statistical model to determine whether the secondary signal indicates the presence of a weapon. The statistical model can be obtained from training data using a neural network through machine learning.

Ein zur Untersuchung von Objekten verwendbares Radarsystem ist auch aus der EP 2 916 141 A1 und der WO 2009 / 115 818 A2 bekannt. Dabei beschäftigt sich die WO 2009 / 115 818 A2 insbesondere mit der Frage, wie in dem Sekundärsignal des von Objekten reflektierten Echos auf das Vorhandensein einer Waffe geschlossen werden kann (beispielsweise weisen Feuerwaffen immer einen Waffenlauf in Form eines einseitig offenen Zylinderkörpers auf, dessen im Sekundärsignal enthaltenes Echo charakteristisch ist). Ein System, welches das Vorhandensein und die Orientierung von Waffenläufen unter Verwendung eines Radarsystems erkennen kann, ist auch aus der US 2010 / 0 079 280 A1 bekannt. Das System verwendet maßgeschneiderte Primärsignale und eine Bibliothek mit den Primärsignalen zugehörigen Sekundärsignalen, welche auf das Vorhandensein und die Orientierung von Waffenläufen hinweisen. Durch Vergleich eines gemessenen Sekundärsignals mit einem in der Bibliothek gespeicherten Sekundärsignal kann auf das Vorhandensein und die Orientierung von Waffenläufen geschlossen werden. Erforderlichenfalls gibt dieses vorbekannte System eine entsprechende Warnung aus. Ein System mit gleicher Zielrichtung ist in der US 2013 / 0 106 643 A1 beschrieben. Dieses System weist zudem einen Laser zum Bestrahlen des betrachteten Objekts sowie eine Kamera zum Erzeugen von Videodaten des betrachteten Objekts auf. A radar system that can be used to examine objects is also known from the EP 2 916 141 A1 and the WO 2009 / 115 818 A2 known. The WO 2009 / 115 818 A2 in particular with the question of how the presence of a weapon can be determined from the secondary signal of the echo reflected from objects (for example, firearms always have a barrel in the form of a cylindrical body open on one side, the echo of which contained in the secondary signal is characteristic). A system that can detect the presence and orientation of weapon barrels using a radar system is also known from the US 2010 / 0 079 280 A1 The system uses customized primary signals and a library of secondary signals associated with the primary signals, which indicate the presence and orientation of weapon barrels. By comparing a measured secondary signal with a secondary signal stored in the library, the presence and orientation of weapon barrels can be determined. If necessary, this previously known system issues a corresponding warning. A system with the same targeting direction is in the US 2013 / 0 106 643 A1 This system also has a laser for irradiating the object being viewed and a camera for generating video data of the object being viewed.

Diese Videodaten können einem Benutzer angezeigt werden, ebenso wie eine optische oder akustische Warnmeldung, falls eine Waffe erkannt wird.This video data can be displayed to a user, as well as a visual or audible warning if a weapon is detected.

Bei den vorstehend beschriebenen vorbekannten Lösungen ist es nachteilig, dass sie primär für stationäre Anwendungen gedacht sind. Es besteht aber gerade ein Bedarf an flexiblen einsetzbaren mobilen Lösungen. Nur wenn durch eine Person verdeckt getragene Waffen im Alltag von Sicherheitspersonal (wie beispielsweise einem Polizisten) zuverlässig erkannt werden, ist es möglich, auf eine Situation angemessen zu reagieren. So macht es ersichtlich einen großen Unterschied, ob eine verdächtige Person in ihre Jackentasche greift, um Ausweispapiere oder aber um eine Waffe hervorzuholen.The disadvantage of the previously known solutions described above is that they are primarily intended for stationary applications. However, there is a need for flexible, mobile solutions. Security personnel (such as a police officer) can only reliably detect weapons carried concealed by a person in everyday life, so that they can react appropriately to a situation. It clearly makes a big difference whether a suspicious person reaches into their jacket pocket to pull out identification papers or a weapon.

Aus der WO 2006 / 001 821 A2 ist eine mobile Lösung zum Erkennen verdeckter Waffen bekannt. Auch diese Lösung verwendet ein als Echo auf ein ausgesendetes Primärsignal im GHz-Bereich empfangenes von einem betrachteten Objekt reflektiertes Sekundärsignal, um in dem Sekundärsignal Hinweise auf eine Waffe zu detektieren.From the WO 2006 / 001 821 A2 is a mobile solution for detecting concealed weapons. This solution also uses a secondary signal reflected from an object being viewed, which is received as an echo of a transmitted primary signal in the GHz range, in order to detect evidence of a weapon in the secondary signal.

Weiter ist an den vorstehend beschriebenen Lösungen nachteilig, dass sie häufig nur bestimmte Waffenarten (wie z. B. Waffen mit einem zylinderförmigen Waffenlauf) erkennen können.Another disadvantage of the solutions described above is that they often only cover certain Can identify types of weapons (such as weapons with a cylindrical barrel).

Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung, ein mobiles System bereitzustellen, welches durch eine Person verdeckt getragene Waffen unterschiedlicher Art zuverlässig erkennen und einen Benutzer des Systems entsprechend warnen kann.Based on this, it is the object of the present invention to provide a mobile system which can reliably detect weapons of different types carried concealed by a person and warn a user of the system accordingly.

Unter Waffen werden Mittel verstanden, die dazu in der Lage sind, ein Lebewesen (und insbesondere einen Menschen) in einer Konfliktsituation seiner physischen Unversehrtheit zu berauben. Waffen können aus unterschiedlichsten Materialien wie insbesondere Metall und/oder Keramik und/oder Kunststoff gebildet sein und unterschiedlichste Größen aufweisen. Bei den Waffen kann es sich konkret insbesondere um Stich-, Hieb- und Schusswaffen handeln. Die vorliegende Erfindung betrifft insbesondere Waffen, deren größte Erstreckung in einer Richtung wenigstens 5 cm (und insbesondere wenigstens 10 cm beträgt) und/oder deren Volumen wenigstens 10 cm³ (und insbesondere wenigstens 20 cm³) beträgt.Weapons are understood to be means that are capable of depriving a living being (and in particular a human) of its physical integrity in a conflict situation. Weapons can be made of a wide variety of materials, such as metal and/or ceramic and/or plastic, and can be of a wide variety of sizes. In concrete terms, the weapons can be stabbing, cutting and firearms. The present invention relates in particular to weapons whose greatest extension in one direction is at least 5 cm (and in particular at least 10 cm) and/or whose volume is at least 10 cm ³ (and in particular at least 20 cm ³ ).

Unter „verdeckte Waffen“ werden solche Waffen verstanden, die durch visuelle Wahrnehmung nicht oder nur schwer zu erkennen sind, da sie zum Beispiel unter Kleidung oder in einem Gepäckstück verborgen oder allgemein verpackt sind.“Concealed weapons” are those weapons that cannot be detected or are difficult to detect by visual perception because they are, for example, hidden under clothing or in luggage or generally packed.

Unter einem „mobilen System“ wird ein System verstanden, welches ein Gewicht und eine Größe aufweist, die es dem System erlauben, von einer Person mitgeführt zu werden, ohne die Person wesentlich einzuschränken oder zu belasten. Insbesondere werden unter „mobilen Systemen“ solche Systeme verstanden, die einschließlich ihrer Energieversorgung

- ein Gewicht von unter 5 kg und insbesondere von unter 1 kg aufweisen und/oder
- deren größte Erstreckung in einer Richtung höchstens 30 cm und insbesondere höchstens 15 cm beträgt und/oder
- deren Volumen höchstens 600 cm³ und insbesondere höchstens 200 cm³ beträgt.

A “mobile system” is understood to mean a system that has a weight and size that allows the system to be carried by a person without significantly restricting or burdening the person. In particular, “mobile systems” are understood to mean systems that, including their energy supply,

- weigh less than 5 kg and in particular less than 1 kg and/or
- whose maximum extension in one direction does not exceed 30 cm and in particular does not exceed 15 cm and/or
- whose volume does not exceed 600 ^cm3 and in particular does not exceed 200 ^cm3 .

Die vorstehende Aufgabe wird durch die Kombination der Merkmale von Anspruch 1 gelöst. Bevorzugte Weiterbildungen finden sich in den abhängigen Ansprüchen.The above object is achieved by the combination of the features of claim 1. Preferred developments can be found in the dependent claims.

Gemäß einer Ausführungsform weist ein mobiles System zum Erkennen einer durch eine Person verdeckt getragenen Waffe eine Radareinheit, eine Wärmebildkamera, eine Recheneinheit, eine Mensch-Maschine-Schnittstelle und eine Energiequelle auf. According to one embodiment, a mobile system for detecting a weapon concealed by a person comprises a radar unit, a thermal imaging camera, a computing unit, a human-machine interface and a power source.

Es wird betont, dass das System auch mehr als eine Radareinheit und/oder mehr als eine Wärmebildkamera und/oder mehr als eine Recheneinheit und/oder mehr als eine Mensch-Maschine-Schnittstelle und/oder mehr als eine Energiequelle aufweisen kann. Insbesondere die Verwendung mehrerer Radareinheiten ist geeignet, die Genauigkeit des Systems zu erhöhen.It is emphasized that the system can also have more than one radar unit and/or more than one thermal imaging camera and/or more than one computing unit and/or more than one human-machine interface and/or more than one energy source. In particular, the use of several radar units is suitable for increasing the accuracy of the system.

Die Energiequelle, bei der es sich gemäß einer Ausführungsform beispielsweise um eine Batterie und/oder einen Akku und/oder eine Solarzelle handeln kann, ist über elektrische Leitungen mit der Radareinheit, der Wärmebildkamera, der Recheneinheit und der Mensch-Maschine-Schnittstelle verbunden und versorgt diese mit elektrischer Energie.The energy source, which according to one embodiment may be, for example, a battery and/or a rechargeable battery and/or a solar cell, is connected to the radar unit, the thermal imaging camera, the computing unit and the human-machine interface via electrical lines and supplies them with electrical energy.

Die Radareinheit tastet ein (dreidimensionales) Volumen ab, in dem sich die Person befindet, und gibt das Ergebnis der Abtastung als Radarsignal aus. Hierfür ist die Radareinheit gemäß einer Ausführungsform über eine Datenleitung mit der Recheneinheit verbunden und tauscht mit dieser Daten aus. Gemäß einer Ausführungsform sendet die Radareinheit zur Abtastung des Volumens zwei zueinander orthogonal polarisierter Primärsignale im Frequenzbereich von 40 GHz bis 80 GHz in das Volumen und empfängt als Echo von im Volumen enthaltenen Objekten wie beispielsweise der Person zwei zueinander orthogonal polarisierter Sekundärsignale, welche das Radarsignal bilden. Das Radarsignal enthält Informationen über Zeit, Ort, Amplitude und Phase, so dass aus diesen Informationen rechnerisch ein zweidimensionales Radarbild gewonnen werden kann. Gemäß einer Ausführungsform wird das zweidimensionale Radarbild durch die Radareinheit selber aus dem Sekundärsignal gewonnen; gemäß einer alternativen Ausführungsform wird das zweidimensionale Radarbild durch die Recheneinheit aus dem Sekundärsignal (welches dann dem Radarsignal entspricht) gewonnen. Im Folgenden wird dieses zweidimensionale Radarbild einfach als „Radarbild“ bezeichnet.The radar unit scans a (three-dimensional) volume in which the person is located and outputs the result of the scan as a radar signal. For this purpose, according to one embodiment, the radar unit is connected to the computing unit via a data line and exchanges data with it. According to one embodiment, the radar unit sends two orthogonally polarized primary signals in the frequency range from 40 GHz to 80 GHz into the volume to scan the volume and receives two orthogonally polarized secondary signals as an echo from objects contained in the volume, such as the person, which form the radar signal. The radar signal contains information about time, location, amplitude and phase, so that a two-dimensional radar image can be mathematically obtained from this information. According to one embodiment, the two-dimensional radar image is obtained by the radar unit itself from the secondary signal; according to an alternative embodiment, the two-dimensional radar image is obtained by the computing unit from the secondary signal (which then corresponds to the radar signal). In the following, this two-dimensional radar image is simply referred to as the “radar image”.

Die Wärmebildkamera erzeugt ein ortsaufgelöstes zweidimensionales Infrarotbild (im Folgenden einfach als „Infrarotbild“ bezeichnet) der Person und gibt dieses als Infrarotsignal aus. Hierfür ist die Wärmebildkamera gemäß einer Ausführungsform über eine Datenleitung mit der Recheneinheit verbunden und tauscht mit dieser Daten aus. Gemäß einer Ausführungsform nutzt die Wärmebildkamera den Spektralbereich von 3,5 µm bis 15 µm oder von 8 µm bis 14 µm (mittleres und langwelliges Infrarot) und stellt so die Temperaturverteilung auf der Oberfläche der Person dar.The thermal imaging camera generates a spatially resolved two-dimensional infrared image (hereinafter referred to simply as "infrared image") of the person and outputs this as an infrared signal. For this purpose, according to one embodiment, the thermal imaging camera is connected to the computing unit via a data line and exchanges data with it. According to one embodiment, the thermal imaging camera uses the spectral range from 3.5 µm to 15 µm or from 8 µm to 14 µm (medium and long-wave infrared) and thus represents the temperature distribution on the surface of the person.

Die Recheneinheit ist über Datenleitungen mit der Radareinheit und der Wärmebildkamera verbunden, steuert diese und empfängt von diesen Signale. Weiter extrahiert die Recheneinheit aus dem von der Radareinheit empfangenen Signal das ortsaufgelöste Radarbild und aus dem von der Wärmebildkamera empfangenen Signal das ortsaufgelöste Infrarotbild.The computing unit is connected to the radar unit and the thermal imaging camera via data lines, controls them and receives signals from them. nale. The computing unit then extracts the spatially resolved radar image from the signal received by the radar unit and the spatially resolved infrared image from the signal received by the thermal imaging camera.

Die Recheneinheit kombiniert das Radarbild und das Infrarotbild rechnerisch und bildet so ein Kombinationsbild.The computing unit mathematically combines the radar image and the infrared image to create a combined image.

Gemäß einer Ausführungsform identifiziert die Recheneinheit vor der Bildung des Kombinationsbilds mittels optischer Bildverarbeitung in dem Radarbild und dem Infrarotbild wenigstens eine identische Struktur (also einen denselben Bereich der abgebildeten Person betreffenden Bildinhalt) und skaliert die beiden Bilder so und/oder schneidet die beiden Bilder so zu, dass das Radarbild und das Infrarotbild denselben Bereich der Person in derselben Größe zeigen. Gemäß einer alternativen Ausführungsform sind die Radareinheit und die Wärmebildkamera so aneinander angepasst, dass das Radarbild und das Infrarotbild innerhalb eines Arbeitsbereichs des Systems automatisch immer denselben Bereich der Person in derselben Größe zeigen. Diese Anpassung kann beispielsweise durch entsprechende Wahl der Optik der Wärmebildkamera erfolgen.According to one embodiment, before forming the combined image by means of optical image processing, the computing unit identifies at least one identical structure (i.e. an image content relating to the same area of the person depicted) in the radar image and the infrared image and scales the two images and/or crops the two images so that the radar image and the infrared image show the same area of the person in the same size. According to an alternative embodiment, the radar unit and the thermal imaging camera are adapted to one another in such a way that the radar image and the infrared image automatically always show the same area of the person in the same size within a working area of the system. This adaptation can be carried out, for example, by appropriately selecting the optics of the thermal imaging camera.

Gemäß einer weiteren Ausführungsform konvertiert die Recheneinheit das Infrarotbild und/oder das Radarbild vor der rechnerischen Kombination in einen einheitlichen Farbraum, beispielsweise in den einen Farbwert (englisch hue), eine Farbsättigung (englisch saturation) und einen Hellwert (englisch value) aufweisenden HSV Farbraum, um ein HSV-Infrarotbild und/oder HSV-Radarbild zu erhalten. In dieser Ausführungsform werden dann durch die Recheneinheit das HSV-Infrarotbild mit dem Radarbild oder das Infrarotbild mit dem HSV-Radarbild oder das HSV-Infrarotbild mit dem HSV-Radarbild rechnerisch kombiniert. Auf das Konvertieren kann verzichtet werden, wenn die rechnerisch zu kombinierenden Bilder bereits in einem einheitlichen Farbraum vorliegen.According to a further embodiment, the computing unit converts the infrared image and/or the radar image into a uniform color space before the computational combination, for example into the HSV color space having a color value (hue), a color saturation and a brightness value (value), in order to obtain an HSV infrared image and/or HSV radar image. In this embodiment, the computing unit then computationally combines the HSV infrared image with the radar image or the infrared image with the HSV radar image or the HSV infrared image with the HSV radar image. Conversion can be omitted if the images to be computationally combined are already in a uniform color space.

Das Konvertieren kann optional auch vor dem skalieren und/oder zuschneiden erfolgen.Conversion can optionally be done before scaling and/or cropping.

Gemäß einer weiteren Ausführungsform wandelt die Recheneinheit vor der Kombination das Infrarotbild oder das HSV-Infrarotbild rechnerisch in sein Komplement um, um ein Komplement-Infrarotbild zu erhalten. Dies erfolgt gemäß einer Ausführungsform durch Subtraktion von 255 von jedem einzelnen Pixelwert des Infrarotbildes / HSV-Infrarotbildes, wenn dieses mit einer Farbtiefe von 8-Bit pro Pixel vorliegt. Gemäß einer Ausführungsform kombiniert die Recheneinheit das Radarbild und das Infrarotbild (bzw. das jeweilige HSV-Bild oder Komplement) dann nicht direkt, sondern addiert zuvor einander entsprechende Pixelwerte des Radarbildes und des Komplement-Infrarotbilds, um ein Zwischenbild zu erhalten. Um das Zwischenbild durch Addition bilden zu können, kann es erforderlich sein, die jeweiligen Bilder zuvor in einen einheitlichen Farbraum zu konvertieren, sofern die Bilder nicht schon in einem einheitlichen Farbraum vorliegen.According to a further embodiment, the computing unit converts the infrared image or the HSV infrared image into its complement before combining in order to obtain a complement infrared image. According to one embodiment, this is done by subtracting 255 from each individual pixel value of the infrared image/HSV infrared image if this is available with a color depth of 8 bits per pixel. According to one embodiment, the computing unit then does not combine the radar image and the infrared image (or the respective HSV image or complement) directly, but first adds corresponding pixel values of the radar image and the complement infrared image to obtain an intermediate image. In order to be able to form the intermediate image by addition, it may be necessary to convert the respective images into a uniform color space beforehand, unless the images are already available in a uniform color space.

Gemäß einer Ausführungsform erfolgt die rechnerische Kombination des Radarbildes und des Infrarotbildes durch die Recheneinheit dadurch, dass einzelne Koordinaten des Farbraums des jeweiligen Bildes (insbesondere des Zwischenbildes und des HSV-Infrarotbildes) jeweils einer Diskrete Wavelet-Transformation unterworfen werden, die so gewonnenen Signale fusioniert werden, und aus den fusionierten Signalen durch eine inverse Diskrete Wavelet-Transformation das Kombinationsbild gewonnen wird. Ein Beispiel, wie die rechnerische Kombination zweier zweidimensionaler Bilder mittels Diskrete Wavelet-Transformation erfolgen kann, ist in Abschnitt 3 des Dokuments Panguluri, S. K., Mohan, L. „Discrete Wavelet Transform Based Image Fusion Using Unsharp Masking“, Periodica Polytechnica Electrical Engineering and Computer Science, 64(2), pp. 211-220, 2020. https://doi.org/10.3311/ PPee.14702 am Beispiel der rechnerischen Kombination eines Infrarotbildes und eines Bildes im sichtbaren Bereich beschrieben. Auf die Lehre in Abschnitt 3 dieses Dokuments wird vollständig Bezug genommen, wobei in der vorliegenden Erfindung das im Dokument verwendete Bild im sichtbaren Bereich durch das Radarbild ersetzt wird. Gemäß einer Ausführungsform erfolgt die rechnerische Kombination des Radarbildes und des Infrarotbildes durch die Recheneinheit dadurch, dass auf Farbwert, Farbsättigung und Hellwert der einzelnen zu kombinierenden Bilder (insbesondere das Zwischenbild und das HSV-Infrarotbild) jeweils eine Diskrete Wavelet-Transformation angewandt wird, und diese dann fusioniert werden, wodurch nach einer inversen Diskrete Wavelet-Transformation das Kombinationsbild erhalten wird.According to one embodiment, the computational combination of the radar image and the infrared image is carried out by the computing unit in that individual coordinates of the color space of the respective image (in particular the intermediate image and the HSV infrared image) are each subjected to a discrete wavelet transformation, the signals obtained in this way are fused, and the combination image is obtained from the fused signals by an inverse discrete wavelet transformation. An example of how the computational combination of two two-dimensional images can be carried out using discrete wavelet transformation is given in section 3 of the document Panguluri, SK, Mohan, L. "Discrete Wavelet Transform Based Image Fusion Using Unsharp Masking", Periodica Polytechnica Electrical Engineering and Computer Science, 64(2), pp. 211-220, 2020. https://doi.org/10.3311/ PPee.14702 using the example of the computational combination of an infrared image and an image in the visible range. The teaching in section 3 of this document is fully incorporated by reference, with the radar image used in the document being replaced by the radar image in the present invention. According to one embodiment, the computational combination of the radar image and the infrared image is carried out by the computing unit by applying a discrete wavelet transformation to the color value, color saturation and brightness value of the individual images to be combined (in particular the intermediate image and the HSV infrared image), and then merging them, whereby the combined image is obtained after an inverse discrete wavelet transformation.

Weiter bildet die Recheneinheit durch Kantendetektion in dem Kombinationsbild rechnerisch ein Kantenbild, wofür gemäß einer Ausführungsform der Canny-Algorithmus verwendet wird. Gemäß einer Ausführungsform wird das Kombinationsbild durch die Recheneinheit vor der Kantendetektion mittels des Schwellenwertverfahrens von Otsu segmentiert.Furthermore, the computing unit computationally forms an edge image by detecting edges in the combination image, for which purpose the Canny algorithm is used according to one embodiment. According to one embodiment, the combination image is segmented by the computing unit before edge detection using the Otsu threshold method.

Nach der Bildung des Kantenbildes detektiert die Recheneinheit rechnerisch durch Bildanalyse in dem Kantenbild eine verdeckte Waffe. Hierfür wird gemäß einer Ausführungsform ein Convolutional Neural Network verwendet, welches durch überwachtes Training anhand von Trainingsdaten trainiert worden ist. Gemäß einer Ausführungsform arbeitet das Convolutional Neural Network nach dem Grundsatz der Logischen Regression und bestimmt also immer nur die Wahrscheinlichkeiten zweier dichotomischer Ereignisse, insbesondere der Ereignisse „Waffe“ und „keine Waffe“.After the edge image has been formed, the computing unit detects a concealed weapon in the edge image by means of image analysis. According to one embodiment, a convolutional neural network is used for this purpose, which trains through supervised training based on training data. nized. According to one embodiment, the convolutional neural network works according to the principle of logical regression and therefore only ever determines the probabilities of two dichotomous events, in particular the events “weapon” and “no weapon”.

Vor der Detektion der verdeckten Waffe werden gemäß einer Ausführungsform in dem Kantenbild die Flächen einzelner Konturen bestimmt, wofür der YOLOv6-Algorithmus verwendet werden kann. YOLOv6 ist die sechste Version von YOLO (you only look once), einer einstufigen Detektionsstrategie zur Objekterkennung. Bei YOLOv6 handelt es sich um ein als Datei verfügbares anhand einer großen allgemeinen Bilddatenbank trainiertes neuronales Netz. YOLOv6 ist in dem Aufsatz „ YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications“, beschrieben, der von https://arxiv.org/abs/2209.02976 bezogen werden kann. Der zugrundeliegende Code ist unter der URL https://github.com/meituan/YOLOv6 verfügbar. Gemäß einer Ausführungsform werden nach der Bestimmung einzelner Konturen und vor der Detektion einer verdeckten Waffe im Kantenbild Konturen ausgeschlossen, deren Flächenanteil am Gesamtbild außerhalb eines vorgegebenen Bereichs zwischen zwei Schwellwerten liegt. Gemäß einer Ausführungsform liegt der Bereich zwischen 1% und 5%, so dass nur Konturen betrachtet werden, deren Fläche zwischen 1% und 5% der Fläche des Gesamtbildes ausmachen.Before detecting the concealed weapon, according to one embodiment, the areas of individual contours are determined in the edge image, for which the YOLOv6 algorithm can be used. YOLOv6 is the sixth version of YOLO (you only look once), a one-stage detection strategy for object recognition. YOLOv6 is a neural network trained on a large general image database and available as a file. YOLOv6 is described in the paper “ YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications”, which is available from https://arxiv.org/abs/2209.02976 can be obtained. The underlying code is available at the URL https://github.com/meituan/YOLOv6. According to one embodiment, after determining individual contours and before detecting a concealed weapon in the edge image, contours whose area share of the overall image lies outside a predetermined range between two threshold values are excluded. According to one embodiment, the range is between 1% and 5%, so that only contours are considered whose area makes up between 1% and 5% of the area of the overall image.

Wenn in dem Kantenbild eine verdeckte Waffe detektiert wurde gibt die Recheneinheit ein Signal an die Mensch-Maschine-Schnittstelle aus. Gemäß einer Ausführungsform ist die Mensch-Maschine-Schnittstelle eine Bildschirmanzeige und/oder ein Lautsprecher und/oder ein Vibrator und/oder eine Bluetooth-Schnittstelle und/oder eine Mobilfunkschnittstelle, so dass das über die Mensch-Maschine-Schnittstelle ausgegebene Signal ein optisches und/oder akustisches Signal ist, und im Falle der Mobilfunkschnittstelle auch an Dritte ausgegeben werden kann.If a concealed weapon is detected in the edge image, the computing unit outputs a signal to the human-machine interface. According to one embodiment, the human-machine interface is a screen display and/or a loudspeaker and/or a vibrator and/or a Bluetooth interface and/or a mobile radio interface, so that the signal output via the human-machine interface is an optical and/or acoustic signal and, in the case of the mobile radio interface, can also be output to third parties.

Gemäß einer Ausführungsform werden durch die Recheneinheit gesteuert durch die Radareinheit und die Wärmebildkamera zu unterschiedlichen Zeitpunkten Bilder erstellt und mehrere einander zeitlich paarweise entsprechende Radarbilder und Infrarotbilder wie vorstehend beschrieben verarbeitet. Dann gibt die Recheneinheit nur dann ein Signal an die Mensch-Maschine-Schnittstelle aus, wenn wenigstens in 3 oder wenigstens in 5 zu unterschiedlichen Zeitpunkten innerhalb einer Sekunde aufgenommenen Bildern eine Waffe detektiert worden ist.According to one embodiment, images are created at different times by the computing unit under the control of the radar unit and the thermal imaging camera, and several radar images and infrared images corresponding to each other in time pairs are processed as described above. The computing unit then only outputs a signal to the human-machine interface if a weapon has been detected in at least 3 or at least 5 images taken at different times within one second.

Ausführungsformen der Erfindung werden nachfolgend anhand von Figuren näher erläutert. Hierbei zeigt:

1 ein Blockdiagramm des mobilen Systems zum Erkennen einer durch eine Person verdeckt getragenen Waffe gemäß einer Ausführungsform;
2 Schematisch den Einsatz des mobilen Systems aus 1; und
3 ein Flussdiagramm eines Verfahrens zum Erkennen einer durch eine Person verdeckt getragenen Waffe.

Embodiments of the invention are explained in more detail below with reference to figures.

1 a block diagram of the mobile system for detecting a weapon concealed by a person according to an embodiment;
2 Schematic of the use of the mobile system from 1 ; and
3 a flowchart of a method for detecting a weapon carried concealed by a person.

Im Folgenden wird eine Ausführungsform anhand der Figuren erläutert.In the following, an embodiment is explained using the figures.

Wie in 1 gezeigt umfasst das mit dem Bezugszeichen 100 bezeichnete mobile System zum Erkennen einer durch eine Person verdeckt getragenen Waffe in einem (nicht gezeigten) gemeinsamen Gehäuse eine Radareinheit 10, eine Wärmebildkamera 20, eine Recheneinheit 30, eine Mensch-Maschinen-Schnittstelle 40 und eine Energiequelle 50.As in 1 As shown, the mobile system designated by the reference numeral 100 for detecting a weapon concealed by a person comprises in a common housing (not shown) a radar unit 10, a thermal imaging camera 20, a computing unit 30, a human-machine interface 40 and a power source 50.

Das nicht gezeigte Gehäuse weist eine Länge von 10 cm, eine Breite von 5 cm und eine Dicke von 2 cm auf und entspricht somit der Größe üblicher Bodycams. Das Gehäuse kann mittels einer (in 2 gezeigten) Klammer 101 außen an der Kleidung eines Benutzers U (siehe 2) befestigt werden.The housing (not shown) has a length of 10 cm, a width of 5 cm and a thickness of 2 cm and thus corresponds to the size of conventional body cameras. The housing can be attached to the camera using a (in 2 shown) clip 101 on the outside of the clothing of a user U (see 2 ) must be attached.

Die Energiequelle 50, bei der es sich vorliegend um einen Akkumulator handelt, weist eine integrierte Ladesteuerung für den Akkumulator sowie einen Stromanschluss 51 zum Laden des Akkumulators auf. Alternativ kann die Energiequelle 50 auch wechselbar ausgestaltet sein; dann kann das Laden des Akkumulators extern erfolgen, oder es können herkömmliche Batterien verwendet werden. Auf den Stromanschluss 51 kann dann verzichtet werden. Die Energiequelle 50 ist über nicht gezeigte elektrische Leitungen mit der Radareinheit 10, der Wärmebildkamera 20, der Recheneinheit 30 und der Mensch-Maschinen-Schnittstelle 40 verbunden und versorgt diese mit Energie. Weiter ist die Energiequelle 50 über eine nicht gezeigte Datenleitung mit der Recheneinheit 30 verbunden und übermittelt an die Recheneinheit 50 Daten über die verfügbare Energie und ggf. den Ladezustand des Akkumulators.The energy source 50, which in this case is a rechargeable battery, has an integrated charging control for the rechargeable battery and a power connection 51 for charging the rechargeable battery. Alternatively, the energy source 50 can also be designed to be replaceable; in this case, the rechargeable battery can be charged externally, or conventional batteries can be used. The power connection 51 can then be dispensed with. The energy source 50 is connected to the radar unit 10, the thermal imaging camera 20, the computing unit 30 and the human-machine interface 40 via electrical lines (not shown) and supplies them with energy. The energy source 50 is also connected to the computing unit 30 via a data line (not shown) and transmits data to the computing unit 50 about the available energy and, if applicable, the charge state of the rechargeable battery.

Die Recheneinheit 30 umfasst vorliegend einen Arbeitsspeicher 31, einen Mikroprozessor 32 und einen neuromorphen Co-Prozessor 33. Innerhalb der Recheneinheit 30 ist der Mikroprozessor 32 für allgemeine Berechnungen und Steuerungsaufgaben zuständig, wohingegen der neuromorphe Co-Prozessor 33 Aufgaben der Mustererkennung und -analyse in Bildern übernimmt. Im Arbeitsspeicher 31 ist ein Programm gespeichert, welches die Arbeitsweise der Recheneinheit 30 festlegt.The computing unit 30 comprises a main memory 31, a microprocessor 32 and a neuromorphic co-processor 33. Within the computing unit 30, the microprocessor 32 is responsible for general calculations and control tasks, whereas the neuromorphic Co-processor 33 performs pattern recognition and analysis tasks in images. A program is stored in the main memory 31 which determines the operation of the computing unit 30.

Die Radareinheit 10 ist über Datenleitungen mit der Recheneinheit 30 verbunden und umfasst einen Sender 11 mit zwei (nicht gezeigten) Antennen, der zwei zueinander orthogonal polarisierter Primärsignale mit einer Frequenz von 60 GHZ emittiert, und einen Empfänger 12 mit zwei (nicht gezeigten) Antennen, der als Echo des Primärsignals zwei zueinander orthogonal polarisierter Sekundärsignale empfängt. Vorliegend wird als Radareinheit das Produkt A111 der Firma Acconeer verwendet, wie es im Datenblatt v1.1 beschrieben ist. Bei diesem Produkt handelt es sich um ein Ein-Chip-Radarsystem, welches ein (dreidimensionales) Volumen abtastet und das Ergebnis der Abtastung in Form von Informationen über Zeit, Ort, Amplitude und Phase als Radarsignal ausgibt. Die Recheneinheit 30 erstellt aus dem von der Radareinheit 10 empfangenen Radarsignal ein zweidimensionales Radarbild. Die Wärmebildkamera 20 ist ebenfalls über Datenleitungen mit der Recheneinheit 30 verbunden und gibt an diese auf Anforderung durch die Recheneinheit 30 ein Infrarotsignal aus, welches ein ortsaufgelöstes (und damit zweidimensionales) Infrarotbild enthält. Dabei sind die Radareinheit 10 und die Wärmebildkamera 20 so aneinander ausgerichtet, dass die Radarbilder und Infrarotbilder weitgehend denselben Bereich abbilden. Die vorliegende Erfindung ist jedoch nicht auf das Produkt A111 der Firma Acconeer beschränkt. Beispielsweise wurde auch das Nachfolgerprodukt A121, wie es im Datenblatt v1.1 vom 30. Mai 2023 beschrieben ist, erfolgreich eingesetzt.The radar unit 10 is connected to the computing unit 30 via data lines and comprises a transmitter 11 with two antennas (not shown) which emits two orthogonally polarized primary signals with a frequency of 60 GHz, and a receiver 12 with two antennas (not shown) which receives two orthogonally polarized secondary signals as an echo of the primary signal. In this case, the radar unit used is the A111 product from Acconeer, as described in data sheet v1.1. This product is a single-chip radar system which scans a (three-dimensional) volume and outputs the result of the scan in the form of information about time, location, amplitude and phase as a radar signal. The computing unit 30 creates a two-dimensional radar image from the radar signal received by the radar unit 10. The thermal imaging camera 20 is also connected to the computing unit 30 via data lines and, upon request from the computing unit 30, outputs an infrared signal to the latter, which contains a spatially resolved (and thus two-dimensional) infrared image. The radar unit 10 and the thermal imaging camera 20 are aligned with one another in such a way that the radar images and infrared images largely depict the same area. However, the present invention is not limited to the A111 product from Acconeer. For example, the successor product A121, as described in the data sheet v1.1 dated May 30, 2023, has also been used successfully.

Die von der Radareinheit 10 und der Wärmebildkamera 20 empfangenen bzw. aus den empfangenen Signalen erzeugten Bilder werden durch die Recheneinheit 30 in ihrem Arbeitsspeicher 31 gespeichert.The images received by the radar unit 10 and the thermal imaging camera 20 or generated from the received signals are stored by the computing unit 30 in its working memory 31.

Die-Maschinen-Schnittstelle 40 ist ebenfalls über Datenleitungen mit der Recheneinheit 30 verbunden. Sie erlaubt die Steuerung des Systems 100 durch einen Benutzer U sowie die Ausgabe von Informationen an den Benutzer U. Hierfür besitzt die Maschinen-Schnittstelle 40 einen integrierten Lautsprecher 41, ein außen am Gehäuse des Systems 100 angeordnetes LCD-Farbdisplay mit Touchfunktion (also ein berührungsempfindlicher Bildschirm) 42, eine integrierte Bluetooth-Schnittstelle 43 eine integrierte Telekommunikations-Schnittstelle 44 sowie Tasten 45.The machine interface 40 is also connected to the computing unit 30 via data lines. It allows the system 100 to be controlled by a user U and information to be output to the user U. For this purpose, the machine interface 40 has an integrated loudspeaker 41, an LCD color display with touch function (i.e. a touch-sensitive screen) 42 arranged on the outside of the housing of the system 100, an integrated Bluetooth interface 43, an integrated telecommunications interface 44 and buttons 45.

Die Arbeitsweise der Recheneinheit 30 wird zusammen mit der Arbeitsweise der Recheneinheit 30 nachfolgend detailliert beschrieben.The operation of the computing unit 30 is described in detail below together with the operation of the computing unit 30.

Wie in 2 schematisch dargestellt, ist ein typisches Einsatzgebiet des Systems 100 eine Situation, in der ein Benutzer U, der das System 100 außen an seiner Kleidung (nicht gezeigt) trägt, einer Person P gegenübertritt, die möglicherweise unter ihrer Kleidung eine Waffe W versteckt hat. Bevor der Benutzer U der Person P gegenüber tritt, hat der Benutzer U das System 100 über eine Taste 45 eingeschaltet.As in 2 As shown schematically, a typical application of the system 100 is a situation in which a user U, wearing the system 100 on the outside of his clothing (not shown), faces a person P who may have a weapon W hidden under his clothing. Before the user U faces the person P, the user U has switched on the system 100 via a button 45.

Automatisch bei Unterschreiten eines durch die Leistungsfähigkeit der Radareinheit 10 bzw. der Wärmebildkamera 20 bedingten Abstandes zwischen dem Benutzer U und der Person P (welcher Abstand mittels der Radareinheit bestimmt wird) oder infolge einer Eingabe durch den Benutzer U auf dem LCD-Farbdisplay 42 veranlasst der Mikroprozessor 32 den Ablauf des in 3 gezeigten Verfahrens.When the distance between the user U and the person P falls below a certain distance determined by the performance of the radar unit 10 or the thermal imaging camera 20 (which distance is determined by means of the radar unit) or as a result of an input by the user U on the LCD color display 42, the microprocessor 32 initiates the execution of the 3 procedure shown.

Zunächst werden die Radareinheit 10 bzw. die Wärmebildkamera 20 in den Schritten S10/S20 durch die Recheneinheit 30 dazu veranlasst, ein Radarbild bzw. ein Infrarotbild der Person P zum gleichen Zeitpunkt zu erstellen und entsprechende Signale an die Recheneinheit 30 auszugeben. Dabei kann die Erstellung des eigentlichen zweidimensionalen ortsaufgelösten Bildes aus den von der Radareinheit 10 bzw. der Wärmebildkamera 20 erfassten Messwerten und an die Recheneinheit ausgegebenen Signalen durch die Radareinheit 10 bzw. die Wärmebildkamera 20 selber oder durch die Recheneinheit 30 erfolgen.First, in steps S10/S20, the radar unit 10 or the thermal imaging camera 20 are prompted by the computing unit 30 to create a radar image or an infrared image of the person P at the same time and to output corresponding signals to the computing unit 30. The actual two-dimensional spatially resolved image can be created from the measured values recorded by the radar unit 10 or the thermal imaging camera 20 and the signals output to the computing unit by the radar unit 10 or the thermal imaging camera 20 itself or by the computing unit 30.

Anschließend identifiziert die Recheneinheit 30 in den Schritten S11/S21, unterstützt durch den neuromorphen Co-Prozessor 33, identische Strukturen im Radarbild und Infrarotbild und skaliert diese Bilder bzw. schneidet diese Bilder in den Schritten S12/S22 zu, bis die so bearbeiteten Bilder denselben Bereich der Person P zum Inhalt haben. Sofern die Radareinheit 10 und die Wärmebildkamera 20 so gut aneinander angepasst sind, dass die Radarbilder und Infrarotbilder immer denselben Bereich abbilden, kann auf die Schritte S11/S21 und S12/S22 verzichtet werden.Subsequently, in steps S11/S21, the computing unit 30, supported by the neuromorphic co-processor 33, identifies identical structures in the radar image and infrared image and scales these images or crops these images in steps S12/S22 until the images processed in this way contain the same area of the person P. If the radar unit 10 and the thermal imaging camera 20 are so well adapted to one another that the radar images and infrared images always depict the same area, steps S11/S21 and S12/S22 can be omitted.

Sofern die von dem Radarbild und dem Infrarotbild verwendeten Grafikformate nicht kompatibel oder im Weiteren nicht verwendbar sind, erfolgt in den Schritten S13/S23 durch die Recheneinheit 30 eine entsprechende Konvertierung des Radarbildes und/oder des Infrarotbildes in ein (insbesondere einheitliches) Grafikformat. Natürlich können diese Schritte auch vor den Schritten S11/S21 durchgeführt werden. Weiter ist es in der Regel ausreichend, entweder das Radarbild oder das Infrarotbild in ein geeignetes Grafikformat zu konvertieren, da zumindest eines der Bilder in der Regel bereits in einem verwendbaren Format vorliegt. Vorliegend wird nur in Schritt S23 das Infrarotbild in den einen Farbwert, eine Farbsättigung und einen Hellwert aufweisenden HSV-Farbraum konvertiert, wohingegen das Radarbild bereits in diesem Format vorliegt und daher in Schritt S13 nicht konvertiert werden zu braucht. Der HSV-Farbraum hat sich als für Infrarotbilder besonders geeignet erwiesen, da Beschreibungen in Bezug auf Helligkeit und Farbton potenziell relevanter sein können.If the graphic formats used by the radar image and the infrared image are not compatible or cannot be used in the future, the computing unit 30 converts the radar image and/or the infrared image into a (particularly uniform) graphic format in steps S13/S23. Of course, these steps can also be carried out before steps S11/S21. Furthermore, it is usually sufficient to convert either the radar image or the infrared image into a suitable graphic format, since at least one of the images is usually already available in a usable format. In the present case, only in step S23, the infrared image is converted into the HSV color space having a color value, a color saturation and a brightness value, whereas the radar image is already in this format and therefore does not need to be converted in step S13. The HSV color space has proven to be particularly suitable for infrared images, since descriptions in terms of brightness and hue can potentially be more relevant.

Es wird betont, dass der Schritt S13 auch vor den Schritten S11 und S12 ausgeführt werden kann. Entsprechend kann der Schritt S23 auch vor den Schritten S21 und S22 ausgeführt werdenIt is emphasized that step S13 can also be carried out before steps S11 and S12. Accordingly, step S23 can also be carried out before steps S21 and S22

In Schritt S24 wird das Komplement einer Kopie des Infrarotbilds erzeugt. Da das Infrarotbild im HSV-Farbraum mit einer Farbtiefe von 8-Bit pro Pixel vorliegt, wird dieses Komplement in der vorliegenden Ausführungsform durch mathematische Subtraktion des Wertes „255“ von jedem einzelnen Pixelwert der Kopie des Infrarotbilds mittels des Mikroprozessors 32 durchgeführt. Das so gewonnene komplementierte Infrarotbild wird in Schritt S14 vom Mikroprozessor 32 durch eine Additionsoperation mit dem ebenfalls im HSV-Farbraum vorliegenden Radarbild kombiniert, wodurch ein Zwischenbild erhalten wird. Konkret werden dabei einander räumlich entsprechende Pixelwerte des Radarbilds und des Komplement-Infrarotbilds addiert. Hierdurch wird sichergestellt, dass die im Weiteren verwendeten Bilder so robust wie möglich sind und ein Maximum an Informationen enthalten.In step S24, the complement of a copy of the infrared image is generated. Since the infrared image is in the HSV color space with a color depth of 8 bits per pixel, this complement is carried out in the present embodiment by mathematically subtracting the value "255" from each individual pixel value of the copy of the infrared image using the microprocessor 32. The complemented infrared image thus obtained is combined in step S14 by the microprocessor 32 with the radar image, which is also in the HSV color space, by means of an addition operation, whereby an intermediate image is obtained. Specifically, spatially corresponding pixel values of the radar image and the complement infrared image are added together. This ensures that the images used subsequently are as robust as possible and contain a maximum of information.

In den folgenden Schritten S15/S25 wird auf die einzelnen Koordinaten (Farbwert, Farbsättigung und Hellwert) des Zwischenbildes und Infrarotbildes jeweils getrennt für jedes Bild durch die Recheneinheit 30 eine Diskrete Wavelet-Transformation angewandt. Die so gewonnenen Signale werden kombiniert und über eine inverse Diskrete Wavelet-Transformation wird durch die Recheneinheit 30 ein Kombinationsbild erstellt. Diese Kombination von Bildern mittels einer Diskrete Wavelet-Transformation erfolgt analog zu dem Verfahren, das in Abschnitt 3 des Dokuments Panguluri, S. K., Mohan, L. „Discrete Wavelet Transform Based Image Fusion Using Unsharp Masking“, Periodica Polytechnica Electrical Engineering and Computer Science, 64(2), pp. 211-220, 2020. https://doi.org/10.3311/ PPee.14702 am Beispiel der rechnerischen Kombination eines Infrarotbildes und eines Bildes im sichtbaren Bereich beschrieben ist.In the following steps S15/S25, a discrete wavelet transformation is applied to the individual coordinates (color value, color saturation and brightness value) of the intermediate image and infrared image separately for each image by the computing unit 30. The signals obtained in this way are combined and a combination image is created by the computing unit 30 via an inverse discrete wavelet transformation. This combination of images using a discrete wavelet transformation is carried out analogously to the method described in section 3 of the document Panguluri, SK, Mohan, L. "Discrete Wavelet Transform Based Image Fusion Using Unsharp Masking", Periodica Polytechnica Electrical Engineering and Computer Science, 64(2), pp. 211-220, 2020. https://doi.org/10.3311/ PPee.14702 is described using the example of the computational combination of an infrared image and an image in the visible range.

Auf dieses Kombinationsbild wird in Schritt S31 durch die Recheneinheit 30 das Schwellwertverfahren von Otsu (nach Nobuyuki Otsu) angewendet, um den gesuchten Bildinhalt zu betonen, Rauschen aber zu unterdrücken.In step S31, the computing unit 30 applies the Otsu threshold method (according to Nobuyuki Otsu) to this combination image in order to emphasize the desired image content but suppress noise.

Im Schritt S32 wird das in Schritt S31 bearbeitete Kombinationsbild durch die Recheneinheit 30 unter Verwendung des Canny-Algorithmus (nach John Francis Canny) in ein Kantenbild umgewandelt. Dieses Kantenbild wird in den Schritten S33 und S34 durch den neuromorphen Co-Prozessor 33 untersucht. Zunächst werden in Schritt S33 mittels des YOLOv6-Algorithmus Konturen von Gegenständen bestimmt.In step S32, the combination image processed in step S31 is converted into an edge image by the computing unit 30 using the Canny algorithm (after John Francis Canny). This edge image is examined by the neuromorphic co-processor 33 in steps S33 and S34. First, in step S33, contours of objects are determined using the YOLOv6 algorithm.

Schließlich werden die in Schritt S33 aufgefundenen Konturen von Gegenständen in Schritt S34 durch den neuromorphen Co-Prozessor 33 mittels eines entsprechend trainierten neuronalen Netzwerkes einer logistischen Regression unterworfen, bei dem in der vorliegenden Ausführungsform die beiden dichotomen Ereignisse / Klassen „Waffe“ und „keine Waffe“ betrachtet werden. Dabei werden in der vorliegenden Ausführungsform nur Konturen betrachtet, deren Flächenanteil im Bild zwischen zwei vorgebenden Schwellenwerten von 1% und 5 % liegt. Es wird die Wahrscheinlichkeit des Auftretens eines Ereignisses, in diesem Fall das Vorhandensein einer Waffe erhalten. Gemäß einer nicht gezeigten Ausführungsform ist dieser Schritt mehrstufig aufgebaut, und erfolgt bei Auftreten des Ereignisses „Waffe“ eine (oder mehrere) weitere logistische Regression in die Ereignisse / Klassen „Schusswaffe“ / „keine Schusswaffe“.Finally, the contours of objects found in step S33 are subjected to a logistic regression in step S34 by the neuromorphic co-processor 33 using an appropriately trained neural network, in which in the present embodiment the two dichotomous events/classes "weapon" and "no weapon" are considered. In the present embodiment only contours are considered whose area share in the image lies between two predetermined threshold values of 1% and 5%. The probability of the occurrence of an event, in this case the presence of a weapon, is obtained. According to an embodiment not shown, this step is structured in several stages, and when the event "weapon" occurs, one (or more) further logistic regressions are carried out into the events/classes "firearm" / "no firearm".

Falls das Ergebnis in Schritt S32 NEIN ist (also das Ereignis „keine Waffe“ ist), kehrt das Verfahren gesteuert durch die Recheneinheit 30 zum Start zurück, und die Schritte S10/S20 ff. werden erneut durchlaufen.If the result in step S32 is NO (i.e. the event is “no weapon”), the method returns to the start under the control of the computing unit 30 and steps S10/S20 ff. are run through again.

Falls das Ergebnis in Schritt S32 JA ist (also das Ereignis „Waffe“ ist), wird in Schritt S36 durch die Recheneinheit 30 geprüft, ob die Anzahl an untersuchten Bildern (die zu unterschiedlichen Zeitpunkten (z. B. zeitlich hintereinander) innerhalb einer vorgegebenen Zeitspanne von der Radareinheit und der Wärmebildkamera aufgenommen wurden) einen Schwellenwert überschreitet. Vorliegend wurde als Schwellenwert 3/sec gewählt; somit muss in wenigstens drei Bildern derselben Person eine Waffe innerhalb einer Sekunde detektiert worden sein.If the result in step S32 is YES (i.e. the event is "weapon"), in step S36 the computing unit 30 checks whether the number of images examined (which were recorded by the radar unit and the thermal imaging camera at different times (e.g. one after the other) within a predetermined time period) exceeds a threshold value. In this case, 3/sec was selected as the threshold value; thus, a weapon must have been detected in at least three images of the same person within one second.

Falls das Ergebnis in Schritt S36 NEIN ist (also der Schwellenwert nicht überschritten wurde), kehrt das Verfahren gesteuert durch die Recheneinheit 30 zum Start zurück, und die Schritte S10/S20 ff. werden erneut durchlaufen.If the result in step S36 is NO (i.e. the threshold value was not exceeded), the method returns to the start under the control of the computing unit 30 and steps S10/S20 ff. are repeated.

Falls das Ergebnis in Schritt S36 JA ist (also der Schwellenwert überschritten wurde), steuert die Recheneinheit 30 die Mensch-Maschinen-Schnittstelle 40 so, dass der Benutzer U über das Vorhandensein der Waffe W bei der Person P informiert wird. Vorliegend gibt die Mensch-Maschinen-Schnittstelle 40 über die Bluetooth-Schnittstelle 43 eine entsprechende akustische Meldung an einen in-ear-Kopfhörer des Benutzers U aus, um diesen vor der Waffe zu warnen, ohne dass es die Person P bemerkt. Zusätzlich alarmiert die Mensch-Maschinen-Schnittstelle 40 über die Telekommunikations-Schnittstelle 44 Kollegen des Benutzers über die Konfrontation mit der Waffe. Über das LCD-Farbdisplay 42 kann sich der Benutzer U zudem ein Bild der Person P anzeigen lassen, in das die Waffe lagerichtig eingeblendet ist. Alternativ zu der Ausgabe der akustischen Meldung über die Bluetooth-Schnittstelle 43 kann auch der integrierte Lautsprecher 41 verwendet werden.If the result in step S36 is YES (i.e. the threshold value has been exceeded), the computing unit 30 controls the human-machine interface 40 so that the user U is informed about the presence of the weapon W in the person P. In this case, the human-machine interface 40 sends a corresponding acoustic message to an in-ear headset of the user U via the Bluetooth interface 43 in order to warn the user about the weapon without the person P noticing. In addition, the human-machine interface 40 alerts the user's colleagues about the confrontation with the weapon via the telecommunications interface 44. The user U can also display a picture of the person P on the LCD color display 42, in which the weapon is superimposed in the correct position. As an alternative to the output of the acoustic message via the Bluetooth interface 43, the integrated loudspeaker 41 can also be used.

Nach der Ausgabe des Ergebnisses von Schritt S36 über die Mensch-Maschinen-Schnittstelle 40 beendet die Recheneinheit 30 das Verfahren.After outputting the result of step S36 via the human-machine interface 40, the computing unit 30 terminates the method.

Bezugszeichenlistelist of reference symbols

1010: Radareinheit;radar unit;
1111: Sender;transmitter;
1212: EmpfängerRecipient
2020: Wärmebildkamera;thermal imaging camera;
3030: Recheneinheit;arithmetic unit;
3131: Speicher;Memory;
3232: Prozessor;Processor;
3333: neuromorpher Co-Prozessor;neuromorphic co-processor;
4040: Mensch-Maschine-Schnittstelle;human-machine interface;
4141: Lautsprecher;loudspeaker;
4242: Display;display;
4343: Bluetooth-Schnittstelle;Bluetooth interface;
4444: Telekommunikations-Schnittstelle;telecommunications interface;
4545: Tastatur;Keyboard;
5050: Energiequelle;energy source;
5151: Stromanschluss;power connection;
100100: Mobiles System zum Erkennen einer durch eine Person verdeckt getragenen Waffe;Mobile system for detecting a weapon concealed by a person;
101101: Klammerbracket
PP: Person;Person;
UU: Benutzer;User;
WW: Waffe.Weapon.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 2 960 685 A2 [0005]
EP 2 916 141 A1 [0006]
WO 2009 / 115 818 A2 [0006]
US 2010 / 0 079 280 A1 [0006]
US 2013 / 0 106 643 A1 [0006]
WO 2006 / 001 821 A2 [0009]

Zitierte Nicht-PatentliteraturCited non-patent literature

Panguluri, S. K., Mohan, L. "Discrete Wavelet Transform Based Image Fusion Using Unsharp Masking", Periodica Polytechnica Electrical Engineering and Computer Science, 64(2), pp. 211-220, 2020. https://doi.org/10.3311/ [0027, 0050]
YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications”, which is available from https://arxiv.org/abs/2209.02976 [0030]

Claims

Mobile system for detecting a weapon concealed by a person, comprising: a radar unit; a thermal imaging camera; a computing unit; a human-machine interface; and a power source, whereby the power source supplies the radar unit, the thermal imaging camera, the computing unit and the human-machine interface with power, the radar unit scans a volume and outputs the result of the scan as a radar signal; the thermal imaging camera generates a spatially resolved infrared image of the person and outputs it as an infrared signal; the computing unit is connected to the radar unit and the thermal imaging camera, controls the radar unit and the thermal imaging camera, receives the radar signal output by the radar unit, receives the infrared signal output by the thermal imaging camera, obtains a spatially resolved radar image from the radar signal, obtains the spatially resolved infrared image from the infrared signal, computes the radar image and the infrared image and thus forms a combination image, computes an edge image by edge detection in the combination image, computes a concealed weapon by image analysis in the edge image; and outputs a signal to the human-machine interface if a concealed weapon has been detected in the edge image.

Mobile system according to claim 1 , wherein the computing unit scales and/or crops the radar image and/or the infrared image prior to the computational combination of the radar image and the infrared image so that the infrared image and the radar image have the same resolution and show the same area of the person, wherein optionally the scaling and/or cropping is carried out by identifying at least one identical structure in the radar image and the infrared image.

Mobile system according to claim 1 or 2 , wherein the computing unit converts the infrared image and/or the radar image into the HSV color space having a color value, a color saturation and a brightness value before the computational combination of the radar image and the infrared image in order to obtain an HSV infrared image and/or HSV radar image.

Mobile system according to claim 3 , wherein the computing unit converts the HSV infrared image into its complement before the computational combination of the radar image and the infrared image in order to obtain a complement infrared image, wherein optionally the conversion of the HSV infrared image into its complement is carried out at a color depth of the HSV infrared image of 8 bits per pixel by subtracting 255 from each individual pixel value of the HSV infrared image.

Mobile system according to claim 4 , wherein the computing unit adds corresponding pixel values of the radar image and the complement infrared image before the computational combination of the radar image and the infrared image in order to obtain an intermediate image and computationally combines the intermediate image with the infrared image.

Mobile system according to one of the Claims 1 until 5 , wherein the computing unit for the computational combination of the radar image and the infrared image subjects individual coordinates of the color space of the respective image to a discrete wavelet transformation in order to obtain the combination image after a fusion and a subsequent inverse discrete wavelet transformation, wherein optionally the computing unit for the computational combination of the radar image and the infrared image subjects the HSV infrared image and the intermediate image to a discrete wavelet transformation in order to obtain the combination image after a fusion and an inverse discrete wavelet transformation, wherein the discrete wavelet transformation is applied individually in each image to the color value, color saturation and brightness value of the images to be combined.

Mobile system according to one of the Claims 1 until 6 , wherein the computing unit subjects the combination image to a thresholding procedure before the computational edge detection, wherein optionally the thresholding procedure is the method of Otsu.

Mobile system according to one of the Claims 1 until 7 , where the computing unit uses the Canny algorithm for computational edge detection.

Mobile system according to one of the Claims 1 until 8 , whereby the computing unit for the computational detection of concealed weapons in the edge image determines the areas of individual contours by image analysis, whereby optionally the individual contours are identified by means of the YOLOv6 algorithm.

Mobile system according to one of the Claims 1 until 9 , whereby the computing unit uses a convolutional neural network for the computational detection of concealed weapons in the edge image by image analysis, which has been trained by supervised training using training data.

Mobile system according to one of the Claims 1 until 10 , wherein the radar unit sends two mutually orthogonally polarized primary signals into a volume to generate the radar signal and receives two mutually orthogonally polarized secondary signals as an echo from objects present in the volume, wherein optionally the frequency of the primary signal emitted by the radar unit is in the range from 25 HZ to 100 GHz and in particular in the range from 40 GHz to 80 GHz and further in particular is 60 GHz.

Mobile system according to one of the Claims 1 until 11 , wherein the human-machine interface comprises a screen display and/or a loudspeaker and/or a vibrator and/or a Bluetooth interface and/or a mobile radio interface and the signal output via the human-machine interface is an optical and/or acoustic signal.

Method for detecting a weapon concealedly carried by a person, comprising the following steps: Generating a spatially resolved radar image of the person; Generating a spatially resolved infrared image of the person; Computationally combining the radar image and the infrared image to form a combination image, Computationally detecting edges in the combination image to form an edge image, Computationally detecting a concealed weapon in the edge image by image analysis; and Outputting a detection result of the detection of the concealed weapon.

procedure according to claim 13 , further comprising, prior to the step of computationally combining, a step of scaling and/or cropping the radar image and/or the infrared image such that the infrared image and the radar image show the same area of the person, optionally by identifying at least one identical structure in the radar image and the infrared image.

procedure according to claim 13 or 14 , further comprising, before the step of computationally combining, a step of converting the infrared image and/or the radar image into the HSV color space having a color value, a color saturation and a brightness value to obtain an HSV infrared image and/or HSV radar image.

procedure according to claim 15 , further comprising, prior to the step of computationally combining, a step of converting the HSV infrared image into its complement to obtain a complement infrared image, optionally wherein the conversion of the HSV infrared image into its complement is carried out at a color depth of the HSV infrared image of 8 bits per pixel by subtracting 255 from each individual pixel value of the HSV infrared image.

procedure according to claim 16 , further comprising, before the step of computationally combining, a step of adding corresponding pixel values of the radar image and the complement infrared image to obtain an intermediate image.

Method according to one of the Claims 13 until 17 , wherein the step of computationally combining the radar image and the infrared image to form a combination image comprises applying a discrete wavelet transform to individual coordinates of the color space of the respective image, merging the signals thus obtained and then performing an inverse discrete wavelet transform, wherein optionally the step of computationally combining the radar image and the infrared image to form a combination image comprises applying a discrete wavelet transform to the HSV image and the intermediate image, wherein the discrete wavelet transform is applied individually to the color value, color saturation and brightness value of the images to be combined, merging the signals obtained and then performing an inverse discrete wavelet transform.

Method according to one of the Claims 13 until 18 , further comprising, prior to the step of computationally detecting edges, applying a thresholding method to the combination image, wherein the thresholding method is optionally the method of Otsu.

Method according to one of the Claims 13 until 19 , where the Canny algorithm is used to computationally detect edges to form an edge image.

Method according to one of the Claims 13 until 20 , wherein the computational detection of a concealed weapon in the edge image comprises the determination of areas of individual contours, wherein the individual contours are optionally identified by means of the YOLOv6 algorithm.

Method according to one of the Claims 13 until 21 , wherein computationally detecting a concealed weapon in the edge image comprises using a convolutional neural network trained by supervised training on training data.

Method according to one of the Claims 13 until 22 , wherein the method steps, with the exception of the step of outputting a detection result of the detection of the concealed weapon, are run through several times, so that several spatially resolved radar images and infrared images of the person are created and processed one after the other, wherein the step of outputting a detection result of the detection of the concealed weapon only takes place when a weapon has been detected in 3 or 5 chronologically consecutive images within one second.