DE102009051772A1

DE102009051772A1 - Information input unit for measuring position of one or more fingers relative to hand and for detection of finger and hand movements in free space, has magnetic field generating element and magnetic sensors

Info

Publication number: DE102009051772A1
Application number: DE200910051772
Authority: DE
Inventors: Manuel Barra; Christian Bur; Eliseo Pignanelli; Esther Tesfagiorgis
Original assignee: Individual
Current assignee: Individual
Priority date: 2009-10-12
Filing date: 2009-10-12
Publication date: 2011-04-14

Abstract

The information input unit has a magnetic field generating element and magnetic sensors. The magnetic sensors are attached into the phalanges. A support structure is provided to attach the elements at the hand of a wearer.

Description

Motivation und ZielsetzungMotivation and goal setting

Rahmenbedingung für unser Projekt ist ein Produkt zu entwickeln, deren Hauptbestandteile mikrosytemtechnische Komponenten, sprich Sensoren, sind.The framework condition for our project is to develop a product whose main components are microsystem components, in other words sensors.

Hierzu wurde die Idee entwickelt einen Handschuh mit verschiedenen Sensoren zu bestücken, so dass dieser die Bewegung der Hand, Finger und der Fingerglieder erkennt. Dies kann zur Datenerfassung und als Eingabegerät genutzt werden. Vorstellbar ist beispielsweise die Steuerung technischer Geräte, Maschinen und Computer bzw. Computersoftware. Bestimmte Funktionen dieser Geräte können durch Hand- und Fingerbewegungen ausgelöst und gesteuert werden.For this purpose, the idea was developed to equip a glove with different sensors, so that it detects the movement of the hand, fingers and phalanges. This can be used for data acquisition and as an input device. For example, the control of technical devices, machines and computers or computer software is conceivable. Certain functions of these devices can be triggered and controlled by hand and finger movements.

Beispielhaft kann man sich ein virtuelles Klavier vorstellen; Bewegt der Anwender seine Finger in einer bestimmten Art und Weise, so wird die Bewegung durch den Handschuh erkannt und durch entsprechende Signalverarbeitung ein Ton erzeugt. Natürlich ist man hier nicht auf ein Instrument festgelegt, sondern könnte prinzipiell alle möglichen Anwendungen abdecken, welche auf der Interaktion Mensch-Maschine beruhen.By way of example, one can imagine a virtual piano; If the user moves his fingers in a certain way, the movement is detected by the glove and a sound is generated by appropriate signal processing. Of course, one is not limited to an instrument, but could in principle cover all possible applications based on the human-machine interaction.

Stand der TechnikState of the art

Rechercheinvestigation

Ziel unserer Recherche ist es schon vorhandene Produkte und Konzepte zu finden, die unserer Idee nahe kommen. Hierzu haben wir mehrere Exemplare gefunden, die auf verschiedenen Funktionsprinzipien basieren. Zu jedem grundlegenden Prinzip haben wir ein Produkt oder ein Konzept hervorgehoben, deren Funktionsweise analysiert und beschrieben wird.The aim of our research is to find existing products and concepts that are close to our idea. For this we have found several specimens based on different functional principles. For each fundamental principle, we have highlighted a product or concept whose operation is analyzed and described.

Die drei Grundlegenden Funktionsprinzipien basieren auf

– Reibung/Druck
– Druck
– Dehnung/Spannung

The three basic operating principles are based on

- friction / pressure
- Print
- Elongation / tension

Funktionsprinzip Reibung/Druck:Functional principle friction / pressure:

„Musik-Handschuh” von Petr Hampl, der seinen Angaben zu Folge die Bewegung der Finger mit „Reibungssensoren„ detektiert. Es wird ein Sound erzeugt wenn man über eine Oberfläche reibt oder auf eine Oberfläche drückt. Je nachdem über welche Oberfläche man reibt, werden auch andere Töne erzeugt."Music glove" by Petr Hampl, who according to his statements detects the movement of the fingers with "friction sensors". A sound is created when rubbing over a surface or pressing on a surface. Depending on which surface you rub, other sounds are generated.

Die erzeugten Töne und Klänge werden mit einem Kopfhörer gehört, und in einer Box, die am Handrücken befestigt ist, gespeichert. Somit kann die komponierte Musik im Nachhinein bearbeitet werden. Dieser Handschuh ist noch ein Konzept und kann noch nicht erworben werden.The sounds and sounds are heard with headphones and stored in a box attached to the back of the hand. Thus, the composed music can be edited afterwards. This glove is still a concept and can not be purchased yet.

Funktionsprinzip Druck:Operating principle pressure:

Der ”Piano-Handschuh”, den es bei dem Online-Shop ”I Want One Of Those” gibt, ist für 49,90 $ erhältlich. Die Handschuhe sind an jedem Finger mit Drucksensoren bestückt und erzeugen beim Drücken auf eine feste Oberfläche einen Ton. Bei diesen Handschuhen kann zwischen verschiedenen Instrumenten gewählt werden, dazu sind die Handschuhe am Handgelenk mit Sensoren ausgestattet. Das Signal der Handschuhe wird an eine Lautsprecherbox geführt und dort abgespielt.The "Piano Glove" available at the online store "I Want One Of Those" is available for $ 49.90. The gloves are equipped with pressure sensors on each finger and produce a sound when pressed on a solid surface. These gloves can be chosen between different instruments, the gloves are equipped with sensors on the wrist. The signal from the gloves is led to a loudspeaker box and played there.

Funktionsprinzip Dehnung/Spannung:Functional principle of elongation / tension:

Der „Sound Gloves for Circuit bending” spielt nicht nur ein Instrument, sondern kann verschiedene Instrumente -> Instrumententöne erzeugen. Die verschiedenen Instrumente können am Handrücken eingestellt wenden. Vermutlich wird bei ausreichender Dehnung ein Kontakt geschlossen, wodurch ein Ton erklingt. Der Handschuh ist jedoch sehr träge, und scheint nicht gut zu funktionieren, wie auf dem Video zu sehen ist.The "Sound Gloves for Circuit Bending" not only plays an instrument, but can produce different instruments -> instrument sounds. The different instruments can be adjusted at the back of the hand. Presumably, with sufficient elongation, a contact is closed, whereby a sound sounds. However, the glove is very sluggish, and does not seem to work well, as seen on the video.

Den Handschuh wurde bei der Recherche in Youtube gefunden und ist nicht zu erwerben.The glove was found in the search in Youtube and is not available.

Fazit zum vorgefunden Stand der Technik:Conclusion on the state of the art:

Die gefundenen Handschuhe haben funktioniert, aber konnten nicht als Instrument gespielt werden, und sind eher eine Modeerscheinung.The gloves found worked but could not be played as an instrument and are more of a fad.

Somit hat unser Konzept vor allem dadurch realistische Chancen, weil es wirklich als Instrument gespielt wenden kann.Thus, our concept has realistic chances above all because it can really be used as an instrument.

Konzept:Concept:

Aufgabe der vorliegenden Erfindung ist es die im Stand der Technik genannten Nachteile nicht aufzuweisen, insbesondere ermöglichet die Erfindung die Detektion von Positionen und Bewegungen im freien Raum.The object of the present invention is not to exhibit the disadvantages mentioned in the prior art; in particular, the invention makes it possible to detect positions and movements in free space.

Die Bewegung der Finger wird über Magnetfeldsensoren mit beispielsweise magnetoresistvem Arbeitsprinzip gemessen. Diese bieten den Vorteil, dass sie nur den Winkel und die Entfernung zu einem angelegten Magnetfeld messen und unabhängig von Erschütterungen sind. Ein Zittern der Hand oder unbeabsichtigtes Wackeln beeinflusst somit anders als bei Beschleunigungssensoren das Signal nicht. Das für die Sensoren benötigte Magnetfeld wird z. B. über kleine Magnete oder Spulen, die ein statisches oder dynamisches Magnetfeld erzeugen, bereitgestellt. Die Sensoren selbst werden an den zu erfassenden Fingergliedern angebracht, so dass sich die Fingerglieder unabhängig voneinander bewegen können. Bei Bewegung der Finger entsteht zwischen den Sensoren und dem Magnetfeld bzw. Feldern ein Winkel, welcher durch die Sensoren gemessen werden kann. Mit den von uns verwendeten Sensoren kann eine Winkelauflösung im Sekundenbereich erreicht werden.The movement of the fingers is measured by magnetic field sensors with, for example, a magnetoresistive working principle. These have the advantage that they measure only the angle and the distance to an applied magnetic field and are independent of vibrations. A shaking of the hand or unintentional shaking thus influences differently as with acceleration sensors, the signal is not. The magnetic field required for the sensors is z. B. on small magnets or coils that generate a static or dynamic magnetic field provided. The sensors themselves are attached to the finger members to be detected so that the finger members can move independently of each other. As the fingers move, an angle is created between the sensors and the magnetic field, which can be measured by the sensors. With the sensors we use, an angular resolution in the range of seconds can be achieved.

Mögliche Konzepte zur RealisierungPossible concepts for realization

Die Bewegung der Finger lässt sich prinzipiell auf viele verschiede Arten messen.

a) Dehnungsmessstreifen
b) Elektrischer Kontakt
c) Drucksensoren in Fingern
d) Beschleunigungssensoren
e) Magnetoresistive Sensoren

The movement of the fingers can be measured in principle in many different ways.

a) Strain gauges
b) Electrical contact
c) pressure sensors in fingers
d) acceleration sensors
e) Magnetoresistive sensors

Dehnungsmessstreifen sind nur in einem begrenzen Bereich von ca. 5% relativer Dehnung zu verwenden. Weiterhin müssen sie sehr fest auf dem zu untersuchenden Objekt aufgebracht werden und dürfen nicht verrutschen. Bei einem Handschuh erschien uns dies sehr schwierig zu realisieren, da der Stoff des Handschuhs selbst dehnbar ist und sich je nachdem wie groß die Hand des Trägers ist mit dehnt. Somit verschiebt sich die Position des Messstreifens je nach Größe der Hand des Trägers. Weiterhin liegt ein Handschuh nie wirklich direkt am Finger an, sondern es gibt immer ein gewisses Spiel zwischen Finger und dem umliegenden Stoff auf dem der Streifen befestigt werden müsste. Somit kann nicht gewährleistet werden, dass die Signale die mittels Dehnungsmessstreifen ermittelt werden zu gebrauchen sind und vor allem dass sie bei jeder Person gleich sind. Aufgrund dieser Probleme haben wir uns gegen die Verwendung von Dehnungsmessstreifen entschieden.Strain gauges are only to be used in a limited range of approx. 5% relative elongation. Furthermore, they must be applied very firmly to the object to be examined and must not slip. With a glove, this seemed very difficult to do because the fabric of the glove itself is stretchable and stretches depending on how big the wearer's hand is with it. Thus, the position of the measuring strip shifts depending on the size of the hand of the wearer. Furthermore, a glove is never really directly on the finger, but there is always a certain play between the finger and the surrounding material on which the strip would have to be attached. Thus, it can not be guaranteed that the signals are to be determined by means of strain gauges and, above all, that they are the same for each person. Because of these problems, we have decided against the use of strain gauges.

Die Bewegung der Finger kann auch durch einen einfachen elektrischen Kontakt detektiert werden. Beispielsweise könnte man über Elektroden an Fingerkuppen und am Daumen feststellen wann ein Finger den Daumen berührt. Weiterhin könnte man eine Elektrode als eine Art Tastatur verwenden und damit feststellen ob ein Finger die Tastatur an einer gewissen Stelle berührt. Da unser Handschuh jedoch ohne irgendwelche Hilfsmittel wie Tastaturen funktionieren soll, fällt diese Möglichkeit der Bewegungserkennung weg. Außerdem gibt es, wie wir in der State oft he Art Recherche herausgefunden haben bereits Anwendungen die auf eben diesem Prinzip des elektrischen Kontaktes beruhen. Ferner wäre bei dieser Realisierung keine mikrosystemtechnische Komponente vorhanden.The movement of the fingers can also be detected by a simple electrical contact. For example, electrodes on fingertips and the thumb could tell when a finger touched the thumb. Furthermore, one could use an electrode as a kind of keyboard and thus determine whether a finger touches the keyboard at a certain point. However, since our glove should work without any aids such as keyboards, this possibility of motion detection is eliminated. In addition, as we have often found in the state of the art research, there are already applications based on this principle of electrical contact. Furthermore, no microsystem component would be present in this implementation.

Die Messung der Bewegung mit Drucksensoren in den Fingerspitzen erfordert ebenfalls eine Unterlage als Hilfe. Unser Handschuh soll jedoch frei im Raum funktionieren, somit fällt diese Möglichkeit ebenfalls weg. Laut unserer State of the art Recherche gibt es außerdem bereits Produkte die auf diesem Prinzip basieren.The measurement of the movement with pressure sensors in the fingertips also requires a pad as an aid. However, our glove should work freely in the room, so this possibility also falls away. In addition, according to our state of the art research, there are already products based on this principle.

Im Rahmen dieser Seminararbeit wurden somit zwei grundlegende Konzepte zur Detektion der Fingerbewegung untersucht und durch Experimente verifiziert.In this seminar work two basic concepts for the detection of the finger movement were examined and verified by experiments.

Funktionsweise MR Sensoren:How MR sensors work:

Nach ersten Tests mit vorhandenen Sensoren wurde deutlich, dass MR Sensoren für unsere Anwendung geeignet sind. Diese zeichnen sich durch vielfältige Vorteile aus, wie eine hohe Sensitivität, Auflösung, Genauigkeit, Dynamik und Energieeffizienz, sowie eine sehr gute Integrationsfähigkeit und Robustheit. Das kontaktfreie Arbeitsprinzip sorgt zudem für eine hohe Zuverlässigkeit und Verschleissfreiheit.After initial tests with existing sensors, it became clear that MR sensors are suitable for our application. These are characterized by many advantages, such as high sensitivity, resolution, accuracy, dynamics and energy efficiency, as well as a very good integration and robustness. The non-contact working principle also ensures high reliability and freedom from wear.

Die Sensoren beruhen auf dem AMR Effekt (Anisotroper magnetoresistiver Effekt). Dabei ändert ein ferromegnetsiches Material seinen Widerstand aufgrund des Winkels zwischen seiner Magnetisierung und dem Stromfluss durch das Material. R(φ) = R(0) – ΔR·sin²(φ)₅ The sensors are based on the AMR effect (anisotropic magnetoresistive effect). In this case, a ferromagnetic material changes its resistance due to the angle between its magnetization and the current flow through the material. R (φ) = R (0) - ΔR · sin ² (φ) ₅

Eine Veranschaulichung findet sich in 2.An illustration can be found in 2 ,

Um eine bessere Empfindlichkeit bei kleinen Feldern zu erreichen wird der Strom durch den Widerstand durch Barberpol Strukturen um 45° gedreht. Barberpol Strukturen sind metallische Streifen, die im 45° Winkel auf dem ferromagnetischen Material angebracht werden. Ein von außen angelegtes Magnetfeld dreht die Magnetisierung im ferromagnetischen Material aus der Ursprungslage heraus, dadurch ändert sich der Widerstand.In order to achieve better sensitivity in small fields, the current through the resistor is rotated through 45 ° by Barberpol structures. Barberpol structures are metallic strips that are mounted at a 45 ° angle on the ferromagnetic material. An externally applied magnetic field turns the magnetization in the ferromagnetic material out of the original position, thereby changing the resistance.

Im Sensor sind zwei Messbrücken im 45° Winkel zueinander verbaut. Das Ausgangssignal ist abhängig vom Winkel zwischen der Längsachse des Sensors und dem äußeren Magnetfeld. Durch Verwendung beider Signale der Brücken lassen sich 180 Grad Winkel bis auf wenige Bruchteile eines Grades genau detektieren.Two measuring bridges are installed in the sensor at a 45 ° angle to each other. The output signal depends on the angle between the longitudinal axis of the sensor and the external magnetic field. By using both signals of the bridges, 180 degree angles can be accurately detected down to a few fractions of a degree.

Die Längsachsen der Sensoren zeigen parallel zum den Fingergliedern an denen sie angebracht sind. Zusammen mit den Magnetfeldlinien bilden sie Winkel, die sich je nach Stellung der Fingerglieder ändern.The longitudinal axes of the sensors point parallel to the phalanges to which they are attached. Together with the magnetic field lines they form Angles that change depending on the position of the phalanges.

Ein mögliches Beispiel für eine Winkelmessung des ersten Fingergliedes ist auf 3 gezeigt.One possible example of an angle measurement of the first phalanx is on 3 shown.

Das Ausgangssignal der Sensoren ist abhängig von der verwendeten Versorgungsspannung des Sensors. Die maximale Amplitude des Signals liegt je nach verwendeter Brücke des Sensors bei einem Winkel von 45 oder 90 Grad an. Sie beträgt ca. 13 mV pro Volt Versorgungsspannung. Die Signale der einzelnen Sensoren werden durch eine elektronische Schaltung verstärkt und über eine Schnittstelle an das zu steuernde Gerät weitergeleitet.The output signal of the sensors depends on the supply voltage of the sensor used. The maximum amplitude of the signal depends on the used bridge of the sensor at an angle of 45 or 90 degrees. It is approx. 13 mV per volt supply voltage. The signals of the individual sensors are amplified by an electronic circuit and forwarded via an interface to the device to be controlled.

Dies finden Sie in 4 dargestellt.This can be found in 4 shown.

Weiterhin werden Beschleunigungssensoren so an den Händen befestigt, dass sich die Bewegung in alle 3 Raumrichtungen messen lässt. Damit kann festgestellt werden in welche Richtung die Handfläche zeigt. Weiterhin kann durch eine nachgeschaltete Signalverarbeitung die relative Position der Hände festgestellt werden.Furthermore, acceleration sensors are attached to the hands so that the movement can be measured in all three spatial directions. This can be determined in which direction the palm shows. Furthermore, the relative position of the hands can be determined by a downstream signal processing.

Funktionsweise Beschleunigungs-Sensoren:Operation of acceleration sensors:

Die hier verwendeten Beschleunigungssensoren basieren auf einem kapazitiven Messprinzip. Grundbestandteil des Sensors ist eine freischwingende seismische Masse mit einem Fingersystem, die an zwei Federn aufgehängt ist.The acceleration sensors used here are based on a capacitive measuring principle. The basic component of the sensor is a free-running seismic mass with a finger system suspended by two springs.

Dieses Messprinzip ist in 1 illustriert.This measuring principle is in 1 illustrated.

Erfährt der Sensor nun eine Beschleunigung in Sensorrichtung, so wird die Masse aufgrund ihrer Trägheit ausgelenkt. Für kleine Auslenkungen ist die Rückstellkraft der Feder linear und es gilt das Hook'sche Gesetz: F_k = –k·Δd If the sensor now experiences acceleration in the sensor direction, the mass is deflected due to its inertia. For small deflections, the restoring force of the spring is linear and Hooke's Law applies: F _k = -k · .DELTA.d

Es gilt das Kräftegleichgewicht: F_a = F_k m·a= –k·Δd Δd = – m·a / k The balance of power applies: F _a = F _k m · a = -k · Δd Δd = - m · a / k

Der Abstand ist also abhängig von der Federkonstanten k.The distance is thus dependent on the spring constant k.

Nun ändern sich mit den Abständen zwischen den Finger der Masse und den Finger, die fest mit dem Sensorrahmen verbunden sind, auch die Kapazität. C = ∊ A / d Now, with the distances between the fingers of the mass and the fingers firmly attached to the sensor frame, the capacitance also changes. C = ε A / d

Die Kapazitäten wenden über eine Halbbrücke ausgelesen, so dass folgende Beziehung sich ergibt:

The capacitances are read out over a half-bridge, so that the following relation results:

In der Realität werden nun viele solcher Fingerpaare verwendet, um einen größeren Effekt zu erreichen.In reality, many such pairs of fingers are now used to achieve a greater effect.

Vorteile dieses Konzepts:Advantages of this concept:

Das oben aufgeführte Konzept mittels Magnetfeld und Beschleunigungssensoren bietet eine Reihe von Vorteilen gegenüber herkömmlichen Konzepten.The above-mentioned concept using magnetic field and acceleration sensors offers a number of advantages over conventional concepts.

Eine beispielhafte Anordnung von Magneten, magnetischen Sensoren und Beschleunigungssensoren findet sich in 5.An exemplary arrangement of magnets, magnetic sensors and acceleration sensors can be found in 5 ,

Unsere Handschuhe kommen komplett ohne mechanisch bewegte Bauteile aus, so dass mechanische Nachteile wie z. B. Reibung und Verschleiß nicht auftreten. Die verwendeten Sensoren sind durch ihre Bauart sehr robust gegenüber äußeren Belastungen wie Schlägen und Stößen. Selbst einen Fall aus mehreren Metern Höhe überstehen sie unbeschadet. Daraus ergeben sich große Vorteile im Bezug auf die Lebensdauer.Our gloves are completely without mechanically moving components, so that mechanical disadvantages such. B. friction and wear do not occur. The sensors used are very robust due to their design against external loads such as shocks and bumps. Even a fall from several meters high, they survive unscathed. This results in great benefits in terms of life.

Durch die geringe Baugröße der Sensoren gepaart mit sehr niedrigen Gewicht können die Handschuhe ergonomisch optimal gestaltet wenden ohne die Bewegungsfreiheit negativ zu beeinflussen. Die hohe Sensitivität der Winkelerkennung macht auch filigrane Bewegungen wie sie zum Beispiel im medizinischen Bereich auftreten, erfassbar. Durch Verarbeitung der Sensorsignale können Bewegungsabläufe gespeichert und analysiert wenden.Due to the small size of the sensors coupled with very low weight, the gloves can be ergonomically designed without affecting the freedom of movement. The high sensitivity of the angle detection makes filigree movements as they occur, for example, in the medical field detectable. By processing the sensor signals, motion sequences can be stored and analyzed.

Trotz dieser hohen Empfindlichkeit ist der Aufbau der Handschuhe sehr einfach. Es werden keine mechanische und nur wenige elektronischen Teile benötigt. Auch die Kosten für eine solche Realisierung sind sehr gering. Die verwendeten Sensoren liegen bei entsprechender Stückzahl bei einem Preis unter einem Euro, die verwendete Elektronik noch darunter.Despite this high sensitivity, the construction of the gloves is very simple. There are no mechanical and only a few electronic parts needed. The cost of such a realization is very low. The sensors used are available at a price below one euro, the electronics used even lower.

Anwendungen:applications:

Aufgrund der oben genannten Vorteile ist unsere Bewegungserkennung für eine Vielzahl diverser Anwendungen geeignet. Neben der von uns realisierten Anwendung als Musikinstrument sind, beispielsweise, auch das Bedienen eines PCs mittels Hand und Fingerbewegungen die Umsetzung von Gebärdensprache, die Aufzeichnung von verschiedenen Bewegungen, die Zuordnung von Bewegungen zu Geräuschen und die spätere Wiedergabe, insbesondere beim Spielen eines realen Musikinstruments denkbar.Due to the above advantages, our motion detection is suitable for a variety of different applications. In addition to the application as a musical instrument realized by us, for example, the operation of a PC by hand and finger movements, the implementation of sign language, the recording of different movements, the assignment of movements to noise and the subsequent playback, especially when playing a real musical instrument conceivable ,

Claims

Input unit for information comprising at least one magnetic field generating element, at least one magnetic sensor, wherein the magnetic sensors are fastened in particular to the phalanxes, a support structure which fixes the aforesaid elements to the hand of a wearer, the input unit being particularly suitable for measuring the position of one or more fingers relative to the hand and for detecting finger and hand movements in free space.

Input unit according to claim 1, characterized in that in addition one or more acceleration sensors are mounted in the environment or on the support structure, in particular the acceleration sensors are mounted in the hand.

Input unit according to claim 1, characterized in that the at least one magnetic field generating element generates static or dynamic magnetic fields and used as magnetic field generating elements, permanent magnets, traversed by an electric current elements.

Input unit according to claim 2, characterized in that capacitive acceleration sensors are used with high sensitivity.

Input unit according to one of the preceding claims, characterized in that the data of the input unit in combination with a software suitable for playing or recording sounds, especially music or sign language.