DE69816789T2

DE69816789T2 - Verfahren und system zur gestengesteuerten optionsauswahl

Info

Publication number: DE69816789T2
Application number: DE69816789T
Authority: DE
Inventors: M. Damian LYONS; G. Thomas MURPHY
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-12-22
Filing date: 1998-12-14
Publication date: 2004-05-27
Anticipated expiration: 2018-12-15
Also published as: WO1999032959A2; EP0961965A2; US6176782B1; WO1999032959A3; JP4874450B2; JP2001513244A; EP0961965B1; DE69816789D1; US6283860B1

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Verfahren, wobei dem Benutzer die Möglichkeit geboten wird, aus einem Satz selektierbarer Optionen eine bestimmte Option zu selektieren, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst:

– das Wiedergeben des Satzes selektierbarer Optionen an betreffenden Optionsstellen,
– indem dem Benutzer die Möglichkeit geboten wird, auf die bestimmte Option physikalisch zu zeigen, das Abbilden des Benutzers,
– auf Basis des Bildes das Bestimmen einer Position eines zeigenden Endes eines Arms des Benutzers in einem dreidimensionalen Raum,
– das aus dem Bild Ermitteln, ob der Benutzer auf eine bestimmte Option zeigt, und zwar auf Basis der Position des Körpers und der Optionsstelle der bestimmten Option, und
– sollte dies der Fall sein, das Folgern, dass der Benutzer die bestimmte Option selektiert hat.

Die vorliegende Erfindung bezieht sich weiterhin auf ein System, durch das einem Benutzer die Möglichkeit geboten wird, aus einem Satz selektierbarer Optionen eine bestimmte Option zu selektieren, wobei dieses System die nachfolgenden Elemente umfasst:

– Wiedergabemittel zum Wiedergeben des Satzes selektierbarer Optionen an betreffenden Optionspositionen,
– Bildaufnahmemittel zum Machen eines Bildes vom Benutzer,
– Merkmalermittlungsmittel um auf Basis des Bildes eine Merkmalposition eines zeigenden Endes eines Arms des Benutzers in einem dreidimensionalen Raum zu ermitteln,
– Ermittlungsmittel um aus dem Bild zu ermitteln, ob der Benutzer auf Basis der Merkmalposition des Körpermerkmals und der Optionsposition der betreffenden Option auf eine bestimmte Option zeigt, und
– Folgerungsmittel um zu folgern, dass der Benutzer die bestimmte Option selektiert hat, in dem Fall, dass die Ermittlungsmittel ermittelt haben, dass der Benutzer auf die bestimmte Option zeigt.

Das US Patent 5.528.263 beschreibt ein System mit einem Projektor zum Projizieren eines Videobildes mit einer oder mehreren selektierbaren Optionen, dort als Tasten bezeichnet, auf einen Projektionsschirm. Das System umfasst eine Kamera, die ein Bild des auf den Schirm projizierten Bildes aufzeichnet. Weiterhin ist das System vorgesehen zum Vergleichen des von der Kamera aufgezeichneten Bildes mit dem ursprünglichen dem Projektor zugeführten Bild. Ein Benutzer, der neben dem projizierten Bild steht ist mit dem System dadurch interaktiv, dass er die bestimmte selektierbare Option mit einem Gegenstand bedeckt, was eine andere Lichtreflexion verursacht als der Projektionsschirm. Der Gegenstand kann die Hand des Benutzers sein oder eine dazu bestimmte Zeigervorrichtung, wie ein Stift oder ein Lineal. Wenn das Kamerabild mit dem Originalbild verglichen wird, wird die Bedeckung der bestimmten Option erkannt und es wird eine Aktion entsprechend dieser Option von dem System durchgeführt. Dies kann die Projektion eines nächsten Videobildes in einer Reihe von Bildern sein, die eine Präsentation bilden. Bei diesem bekannten System soll die Kamera das projizierte Videobild sowie den Benutzer gleichzeitig in einem einzigen Rahmen aufzeichnen. Dies begrenzt die Bewegungen des Benutzers, der in der Nähe des Projektionsschirms bleiben soll. Weiterhin muss der Benutzer in dem projizierten Bild die bestimmte Option bedecken um die Selektion dieser Option anzugeben. Dies erfordert ebenfalls, dass der Benutzer nahe bei dieser Option ist. Weiterhin muss der Benutzer dafür sorgen, dass er nicht unabsichtlich diese Option oder eine andere Option am Schirm mit einem Teil seines Körpers bedeckt und er muss vermeiden, dass die Sicht der Kamera auf die Option oder auf Optionen am Schirm nicht abgesperrt wird. Auf diese Weise ist für Interaktion mit dem bekannten System das Gebiet, in dem der Benutzer sich bewegen kann und die Position der selektierbaren Optionen begrenzt.
Die Europäische Patentanmeldung EP 571702 beschreibt ein System, wobei eine Anzahl Informationselemente nebeneinander an einer Wiedergabeanordnung wiedergegeben werden. Das System hat Kameras, die Bilder aufnehmen von dem Finger des Benutzers, indem dieser auf eines der Informationselement zeigt. Aus diesen Bildern ermittelt das System, auf welches Element der Informationselemente der Benutzer zeigt und ein Cursor wird auf die entsprechende Position an der Wiedergabeanordnung herangeführt.
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung ein Verfahren er eingangs beschriebenen Art zu schaffen mit einer verbesserten Art und Weise der Ermittlung des Zeigens durch den Benutzer. Diese Aufgabe wird nach der vorliegenden Erfindung erfüllt durch ein Verfahren, das dadurch gekennzeichnet ist, dass das Verfahren weiterhin auf Basis des Bildes die Ermittlung einer Fußposition eines Fußes des Benutzers, eine Projektion des Arms des Benutzers auf die Bildfläche, und eine lange Achse des Körpers des Benutzers auf der Bildfläche umfasst, und dass die Ermittlung der Merkmalposition weiterhin Folgendes umfasst:

– das Ermitteln des Abstandes zwischen der Optionsposition der bestimmten Option und der Fußposition,
– das Ermitteln eines ersten Winkels zwischen der Projektion des Arms des Benutzers und der Projektion der langen Achse des Körpers des Benutzers, und
– das Ermitteln eines zweiten Winkels zwischen dem Arm des Benutzers und der Ebene des Bildes auf Basis einer geschätzten Armlänge des Arms des Benutzers und einer ermittelten Länge der Projektion des Arms. Weil das Verfahren nach der vorliegenden Erfindung den Abstand zwischen dem Benutzer und den wiedergegebenen Optionen ermittelt, kann besser festgestellt werden, auf welche Option der Benutzer zeigt. Weil die Ermittlung, ob der Benutzer auf die bestimmte Option zeigt, nur basiert auf einem Bild des Benutzers, also ohne dass es erforderlich ist, dass die selektierbaren Optionen in diesem Bild sind, wird im Vergleich zu dem bekannten Verfahren dem Benutzer eine größere Freiheit geboten sich zu bewegen. Die Feststellung der Merkmalposition des Körpermerkmals des Benutzers in drei Dimensionen ermöglicht es, zu ermitteln, ob der Benutzer auf die bestimmte Option zeigt oder nicht, während diese Option nicht in dem Bild ist. Das Zeigen auf eine Option in dem dreidimensionalen Raum ohne dass es erforderlich ist, dass bestimmte Eingabevorrichtungen verwendet werden, ist eine sehr natürliche und intuitive Art und Weise für einen Benutzer, eine Wahl auszudrücken. Dies ist besonders vorteilhaft für einen Benutzer, dem die Benutzung eines Computers nicht geläufig ist. Weiterhin macht das Fehlen einer bestimmten Eingabevorrichtung und anderer Bewegungsvorrichtungen das Verfahren interessant für Anwendung an öffentlichen Stellen, da es keine Gefahr gibt, dass diese Vorrichtungen entwendet oder beschädigt werden.

An sich ist es bekannt, eine Applikation auf Basis des Bildes einer benutzenden Person zu steuern. Die Patentanmeldung WO 96/30856 beschreibt ein System, bei dem der Benutzer die Graphik, beispielsweise ein animiertes Zeichen, an einem Schirm, auf den der Benutzer schaut, dadurch steuert, dass er einen oder mehrere Körperteile bewegt. Dies System ist mit einer Kamera ausgestattet, die ein Bild vom Benutzer macht. Die Silhouette des Benutzers in diesem Bild wird analysiert und die Position und Bewegung eines Körperteils in einem oder mehreren Gebieten in dem Bild werden als Eingabe zur Steuerung der Graphik benutzt. Die Posen, die der Benutzer einnehmen kann, sind in der Silhouette auf einfache Weise erkennbar und umfassen nicht eine Zeigen in Richtung einer präsentierten Option. Das System analysiert das Bild des Benutzers in zwei Dimensionen, nur als eine Silhouette und es wird keine Ermittlung von Positionen des Körpers des Benutzers in drei Dimensionen durchgeführt. Wichtige Unterschiede zwischen diesem Verfahren und dem Verfahren nach der vorliegenden Erfindung sind:

– der Stil der Interaktion ist anders: bei dem bekannten Verfahren führen Posen, die eine bestimmte Silhouette verursachen, zu einem entsprechenden Befehl und zu einer Aktion in der Applikation, wodurch es zwischen der Pose und der resultierenden Aktion keine natürliche Übereinstimmung gibt, während die vorliegende Erfindung das natürliche Zeigen auf eine zu selektierende Option schafft;
– bei dem bekannten Verfahren sind die Posen und die Position des Körpers begrenzt um zu gewährleisten, dass die Silhouette der betreffenden Körperteile in den entsprechenden Gebieten des Bildes sind, während die vorliegende Erfindung sehr frei ist in der Position und in den Posen, die der Benutzer einnehmen kann;
– bei dem bekannten Verfahren wird die Analyse der Posen des Benutzers nur in den zwei Dimensionen des Bildes durchgeführt, während in der vorliegenden Erfindung die Posen des Körpers in dem dreidimensionalen Raum ermittelt werden, in dem der Benutzer interaktiv tätig ist, wodurch auf diese Weise eine Schnittstelle geschaffen wird, die für den Benutzer sehr intuitiv ist, da dies dem menschlichen Empfinden der Welt entspricht.

Das Verfahren nach der vorliegenden Erfindung kann in vielen Applikation ausgenutzt werden, wobei ein Benutzer mit einem System interaktiv ist. Es wird benutzt zum Eingeben von Befehlen in das System, während keine separate Eingabevorrichtung erforderlich ist. Beispiele sind Informationsermittlungssysteme in öffentlichen Gebäuden, wie Bibliotheken, Kunstgalerien und Musen und Einkaufssysteme in öffentlichen Kaufzentren, wie Einkaufsboulevards und Spezialgeschäften. Weitere Applikationen umfassen öffentliche Dienstmöglichkeiten, wie "Fast-Food"-Lieferanten, wo der Benutzer auf ein ge wünschtes Nahrungs-Item zeigen kann, und der private Heim-Gebrauch, wie Interaktion mit einem "Heim-Theater-System".
Bei einer Ausführungsform des Verfahrens nach der vorliegenden Erfindung wird der Satz mit selektierbaren Objekten an einem Videoschirm vor dem Benutzer wiedergegeben. Das Wiedergeben der selektierbaren Optionen an einem Schirm schafft eine flexible Art und Weise, diese Optionen für einen Benutzer wiederzugeben. Das Wiedergeben kann dann einfach an den aktuellen Benutzer angepasst werden, der eine Selektion macht: die Höhe der wiedergegebenen Optionen kann an die Größe des vor dem Schirm stehenden Benutzers angepasst werden und die Größe der wiedergegebenen Optionen kann an den Abstand angepasst werden, in dem der Benutzer vor dem Schirm steht. Weiterhin kann ein System, das dieses Verfahren anwendet, auf einfache Weise beibehalten werden, da eine Änderung des Satzes selektierbarer Optionen am Schirm einfacher ein weniger aufwendig ist als eine Änderung eines Hardware-Aufsatzes des Satzes selektierbarer Optionen.
Eine Ausführungsform des Bildermittlungssystems nach der vorliegenden Erfindung umfasst einen Initialisierungsschritt, bei dem die Größe des Benutzers ermittelt wird. Bei dieser Ausführungsform wird die geschätzte Armlänge aus biometrischen Daten auf Basis der Größe des Benutzers ermittelt. Das Erhalten einer Schätzung für die erforderliche Armlänge aus biometrischen Daten hat sich als adäquat erwiesen. Solche biometrischen Daten sind das Ergebnis von Messungen vieler verschiedener Personen, gesammelt in vielen Jahren, auf die an vielen Stellen zugegriffen werden kann, beispielsweise in einer öffentlichen Bibliothek.
Es ist weiterhin eine Aufgabe der vorliegenden Erfindung, ein System der beschriebenen Art zu schaffen, und zwar mit einem verbesserten Mechanismus zum Ermitteln des Zeigens durch einen Benutzer. Diese Aufgabe wird nach der vorliegenden Erfindung erfüllt in einem System, wobei auf den Bild eine Merkmalposition eines Körpermerkmals des Benutzers in einem dreidimensionalen Raum ermittelt wird und wobei die Bestätigungseinheit vorgesehen ist um zu bestätigen, ob der Benutzer auf die bestimmte Option zeigt, und zwar auf Basis der Merkmalposition des Körpermerkmals und der Option, mit dem Kennzeichen, dass das System weiterhin weitere Ermittlungsmittel (622) aufweist um auf Basis des Bildes, eine Fußposition eines Fußes des Benutzers, eine Projektion des Arms des Benutzers auf der Bildfläche und eine lange Achse des Körpers des Benutzers auf der Bildfläche zu ermitteln, und dass die Merkmalermittlungsmittel (620) für folgende Zwecke vorgesehen sind:

– zum Ermitteln des Abstandes zwischen der Optionsposition der betreffenden Option und der Fußposition,
– zum Ermitteln eines ersten Winkels zwischen der Projektion des Arms des Benutzers und der Projektion der langen Achse des Körpers des Benutzers, und
– zum Ermitteln eines zweiten Winkels zwischen dem Arm des Benutzers und der Bildfläche auf Basis einer geschätzten Armlänge des Arms des Benutzers und einer ermittelten Länge der Projektion des Arms.

Weil das System ermittelt, ob der Benutzer auf das bestimmte Item zeigt, und zwar auf Basis des Bildes des Benutzers, insbesondere durch Ermittlung der Merkmalposition des zeigenden Körpermerkmals in drei Dimensionen, gibt es für die Position und die Pose des Benutzers beim Anzeigen eine große Flexibilität. Weiterhin ist Interaktion mit dem System auf eine kontaktfreie Weise, d. h. es weder Tasten, die betätigt werden müssen, noch Zeigevorrichtungen, die in Wirkung gesetzt werden müssen. Dies macht das System robust und geeignet für Gebrauch an öffentlichen Stellen, da kaum Gefahr besteht, dass das System entwendet oder beschädigt wird.
Eine Ausführungsform des Systems nach der vorliegenden Erfindung hat einen Videoschirm, der dem Benutzer zugewandt ist zum Wiedergeben des Satzes selektierbarer Objekte. Der Videoschirm zum Wiedergeben des Satzes selektierbarer Optionen macht, dass das System auf einfache Weise unterhalten werden kann. Änderungen des Inhaltes oder des Aussehens des Satzes erfolgt durch Änderung der Software, die das Bild am Schirm erzeugt und erfordert keine Änderung der Hardwareteile des Systems.
Weitere vorteilhafte Ausführungsformen der vorliegenden Erfindung werden nachstehend erläutert.
KURZE BESCHREIBUNG DER ZEICHNUNG
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben. Es zeigen:
1 eine schematische Darstellung eines Systems nach der vorliegenden Erfindung,
2 ein Flussdiagramm mit den Hauptschritten des Verfahrens nach der vorliegenden Erfindung,
3 ein Zwischenergebnis der Analyse des von der Kamera erstellten Bildes,
4 die Schritte zum Berechnen der Position der zeigenden Hand,
5 die Ermittlung der angezeigten Option auf Basis der Handposition, und
6 die wichtigsten Elemente des Systems nach der vorliegenden Erfindung.
Entsprechende Elemente in den jeweiligen Figuren sind durch die gleichen Bezugszeichen angegeben.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
1 zeigt schematisch ein System nach der vorliegenden Erfindung. Das System 100 hat einen Videoschirm 102 von 2 zu 3 m und ein Interaktionsgebiet 104. Das System hat eine Kamera 106, die ein Bild von einer benutzenden Person 108 erstellt, die in dem Interaktionsgebiet vor dem Videoschirm steht. Das System gibt einen Satz selektierbarer Optionen 110 an dem Videoschirm wieder und der Benutzer selektiert eine Option dadurch, dass er darauf zeigt. Das System ist derart ausgebildet, dass es einen zusätzlichen Gegenstand 112 wiedergibt mit einer Erläuterung der selektierbaren Optionen oder mit anderer unterstützender Information, fasst das anwendbar ist. Das Kamerabild 114 des Benutzers wird in einem Bilderkennungsteil 116 des Systems analysiert. Dieser Bilderkennungsteil ermittelt die Pose des Benutzers und berechnet die Position der zweigen Hand des Benutzers in dem dreidimensionalen Raum. In einem Applikationsteil 118 des Systems werden die dreidimensionalen Daten benutzt um zu ermitteln, ob der Benutzer auf eine der selektierbaren Optionen zeigt, die am Videoschirm wiedergegeben werden. Der Applikationsteil basiert die Berechnungen auf der Position der zeigenden Hand des Benutzers, die aus dem Bilderkennungsteil empfangen wird, sowie auf den betreffenden Positionen der selektierbaren Optionen, die bekannt sind, da der Applikationsteil die Wiedergabe der Optionen erzeugt hat. Basiert auf der betreffenden selektierten Option führt der Applikationsteil eine entsprechende Aktion durch. Wenn die selektierte Option eine Selektion in einer Menühierarchie ist, dann ist die Aktion die Wiedergabe eines neuen Satzes selektierbarer Optionen, die den nächsten Pegel in der Menühierarchie darstellen. Wenn die selektierte Option einen Antrag für eine bestimmte Information darstellt, dann ist die Aktion die Suche nach dieser Information und die nächste Wiedergabe der Information am Videoschirm.
Das Selektieren einer Option erfolgt in zwei Stufen. In einer ersten Stufe zeigt der Benutzer auf die gewünschte Option und in der zweiten Stufe bestätigt der Benutzer, dass dies die gewünschte Option ist. Diese zweistufige Annäherung vermeidet die Gefahr einer unerwünschten Selektion und ist vergleichbar mit der Zeigen-und-Klicken-Annäherung, die für eine Maus angewandt wird. In der vorliegenden Ausführungsform des Systems nach der vorliegenden Erfindung wird die Bestätigung derart implementiert, dass der Benutzer während einer bestimmten Zeitperiode auf die betreffende Option zeigt. Wenn diese Periode vorbei ist, erkennt das System die Bestätigung durch den Benutzer und führt die entsprechende Aktion durch. Alternative Weisen der Bestätigung werden betrachtet und werden zur Zeit studiert. Eine erste Alternative ist, dass der Benutzer die gewünschte Option mit der Hand oder dem Finger umkreist. Wenn der Benutzer diesen Kreis schließt, hat die Bestätigung stattgefunden und die gewünschte Option wird selektiert. Eine zweite Alternative ist die Verwendung von Spracheingabe zur Bestätigung. Der Benutzer sagt: "Diese", während er auf die gewünschte Option zeigt. Diese Aussage bildet die Bestätigung und die gewünschte Option wird selektiert.
2 zeigt ein Flussdiagramm mit den Hauptschritten des Verfahrens nach der vorliegenden Erfindung. In dem Schritt 202 werden die selektierbaren Optionen an dem Videoschirm wiedergegeben und danach wird in dem Schritt 204 ein Bild von dem Benutzer erstellt, der vor dem Schirm in dem Interaktionsbereich steht. Die Kamera des Systems zeichnet ständig die Szene in dem Interaktionsbereich auf und zu einem geeigneten Zeitpunkt greift das System ein einziges Bild zur Analyse. In dem Schritt 206 wird dieses Bild analysiert und die Position der zeigenden Hand des Benutzers in dem dreidimensionalen Raum des Systems wird ermittelt. Dieser Schritt 206 ist weiterhin in den 3 und 4 detailliert dargestellt. Danach überprüft der Schritt 208, ob der Benutzer in dem Bild auf eine bestimmte Option zeigt. Sollte das nicht der Fall sein, so wird der Prozess auf den Schritt 204 zurückgesetzt, wo ein neues Bild gegriffen und der Prozess wiederholt wird. Wenn in dem Schritt 208 gefolgert wird, dass der Benutzer auf eine bestimmte Option zeigt, dann wird die Aktion entsprechend der Option in dem Schritt 210 durchgeführt. Danach wird in dem Schritt 212 überprüft, ob ein nächstes Videobild mit einem neuen Satz selektierbarer Optionen am Videoschirm wiedergegeben werden soll. Sollte das der Fall Optionen am Videoschirm wiedergegeben werden soll. Sollte das der Fall sein, so kehrt der Prozess zu dem Schritt 202 zurück zum Wiedergeben des Videobildes und die nachfolgenden Schritte werden daraufhin für dieses neue Videobild auf entsprechende Weise durchgeführt. Es sei bemerkt, dass das Flussdiagramm nach 2 nur die Hauptschritte der vorliegenden Erfindung zeigt. In Wirklichkeit umfasst die vorliegende Erfindung viel detailliertere Prozess- und Steuerschritte, auf die der Deutlichkeit der Zeichnung halber verzichtet worden ist.
3 zeigt ein Zwischenergebnis der Analyse des von der Kamera erstellten Bildes. In einem ersten Schritt, wobei das von der Kamera erstellte Bild verarbeitet wird, wird eine Körperkontur 302 des Benutzers erhalten, der vor dem Videoschirm steht. Dieser erste Verarbeitungsschritt ist nicht ein wesentliches Element der vorliegenden Erfindung und ist in dem vorliegenden Patentdokument der Kürze desselben wegen, nicht weiter detailliert beschrieben. Der Verarbeitungsschritt zum Erhalten der Körperkontur ist von Darrel T., Wren C., Azarbayejani A. und Pentland A in der Veröffentlichung: "Pfinder: Realtime tracking of the human body", in IEEE Transactions on Pattern Analysis and Machine Intelligence" Heft 19, Nr. 7, Juli 1997, Seiten 780–785 beschrieben worden. In einem nächsten Schritt wird die Begrenzungsbox 304 ermittelt, welche die Körperkontur einschließt. Die Begrenzungsbox 304 ist in 9 Zellen aufgeteilt, indem die Box in 3 horizontale, zueinander gleich bemessene Reigen und in 3 vertikale, zueinander gleich bemessene Spalten aufgeteilt wird. Die drei Spalten sind von links nach rechts durch A, B bzw. C bezeichnet und die drei Reihen sind von oben nach unten durch 1, 2 bzw. 3 bezeichnet. Die Körperkontur wird je Zelle analysiert, damit mehrere Merkmale des Körpers des Benutzers erkannt werden. Die nachfolgenden Messungen werden für die betreffenden Zellen durchgeführt, wobei (x,y) die Stelle in dem Bild bezeichnet, wo x von links nach rechts läuft und wo y von unten nach oben läuft:
Je nach der Körperkontur brauchen nicht alle Messungen zu bestehen. In 3 werden die erhaltenen Messungen als Plus-Zeichen angegeben, mit den nachfolgenden Zahlen je Zelle:
Auf Basis der obenstehenden Messungen werden viele Körpermerkmale identifiziert. Diese Identifikation wird nachstehend je Körpermerkmal in Pseudocode gegeben, wobei das //-Zeichen einen Kommentar auf die betreffende Linie des Pseudocodes angibt.
Rechte Hand:
Wenn (eine A1-Messung vorhanden ist) Dann//rechte Hand über Schulter
Rechte Hand = A1-Messung
Sonst//rechte Hand unter Schulter
Wenn (eine A2-Messung vorhanden ist) Dann
Rechte Hand = A2-Messung
Sonst//rechte Hand in diesem Bild nicht sichtbar
Rechte Hand = ungültig
Linke Hand:
Wenn (eine C1-Messung vorhanden ist) Dann//linke Hand über Schulter
Linke Hand = C1-Messung
Sonst//linke Hand unter Schulter
Wenn (eine C2-Messung vorhanden ist) Dann
Linke Hand = C2-Messung
Sonst//linke Hand in diesem Bild nicht sichtbar
Linke Hand = ungültig
Kopf:
Wenn (eine B1-Messung vorhanden ist) Dann
Kopf = B1-Messung
Sonst//Kopf in diesem Bild nicht sichtbar
Kopf = ungültig
Rechter Fuß:
Wenn (eine A3-Messung vorhanden ist) Dann//Füße auseinander stehend
Rechter Fuß = A3-Messung
Sonst//Füße nebeneinander
Wenn (eine B3-MIN(x)-Messung vorhanden ist) Dann
Rechter Fuß = B3-MIN(x)-Messung
Sonst//den rechten Fuß in diesem Bild nicht sichtbar
Rechter Fuß = ungültig
Linker Fuß:
Wenn (eine C3-Messung vorhanden ist) Dann//Füße auseinander stehend
Linker Fuß = C3-Messung
Sonst//Füße nebeneinander
Wenn (eine B3-MAX(x)-Messung vorhanden ist) Dann
Linker Fuß = B3-MAX(x)-Messung
Sonst//linker Fuß in diesem Bild nicht sichtbar
Linker Fuß = ungültig
Weiterhin werden eine Anzahl zusätzlicher Körpermerkmale identifiziert. Ein zentrales Merkmal wird in der Mitte des Begrenzungsbox 304 identifiziert und ein Basismerkmal wird in der unteren Mitte der Begrenzungsbox identifiziert. Ein Merkmal der linken und der rechten Schulter werden an betreffenden festen x- und y-Offsets des Kopfmerkmals identifiziert/
Die Aufteilung der Begrenzungsbox in 9 Zellen ermöglicht es, die Pose, in der der Benutzer eine Hand über dem Kopf hält, aufzulösen. Wenn die einzige Begrenzungsbox 304 verwendet werden würde, würde die höchste in der Box gefundene Stelle als Kopf vorausgesetzt werden. Dies würde bestimmt zu einer falschen Ermittlung der Richtung führen, worin der Benutzer zeigt.
4 zeigt die Schritte zum Berechnen der Position der zeigenden Hand. Diese Schritte basieren auf den Merkmalen, wie diese im Zusammenhang mit 3 berechnet worden sind. Der Schritt 402 ist ein Schritt zur Kamerakalibrierung, die durchgeführt werden muss, wenn die Kamera nicht unmittelbar vor dem Benutzer positioniert ist. Der Ausgang des Kalibierschrittes der Kamera ist eine 4×4 Matrix, welche die Drehungen und geradlinigen Bewegungen darstellt, durch welche die Kameraposition und Kameraorientierung auf den Koordinatenrahmen des Systems bezogen ist. Dieser Koordinatenrahmen hat die X- und Z-Achse unten und die Y-Achse oben. Das Bild, wie von der Kamera erstellt, wird unter Verwendung der Kamerakalibriermatrix zu der XY-Ebene transformiert. Das transformierte Bild ist das Bild, das von einer Kamera erstellt werden würde, die unmittelbar vor dem Benutzer aufgestellt wäre. Die Kamerakalibriermatrix wird also verwendet zum Ermitteln der aktuellen dreidimensionalen Position des Fußes und der relatierten Positionen von Kopf und Händen in der XY-Ebene, ungeachtet in welchem Winkel die Kamera sich befindet. Die nachfolgenden Schritte arbeiten an dem Bild, nachdem dieses zu der XY-Ebene transformiert worden ist um die Kameraposition zu berücksichtigen.
In dem Schritt 404 wird die volle Länge 1 des Arms des Benutzers erhalten. Dies ist die wirkliche Länge des Arms und nicht die Länge, wie diese in dem Bild erscheint. Zunächst wird aus dem Kopfmerkmal und dem Basismerkmal der Körperkontur in dem Bild die Größe des Benutzers berechnet. Unter der Annahme, dass der Benutzer auf dem Boden steht, wird der Abstand zwischen der Kamera und der Position des Benutzers durch die Position des Basismerkmals in dem Bild ermittelt. Wenn dieser Abstand gegeben ist, kann die Größe der Körperkontur zu der wirklichen Größe des Benutzers skaliert werden. Daraufhin erhält das System eine Schätzung für die wirkliche Länge des Arms des Benutzers, und zwar aus einer Tafel mit biometrischen Daten. Diese biometrischen Daten wurden aus statistischen Daten von Messungen von vielen Personen ermittelt und können benutzt werden zum Schätzen mehrerer Abmessungen des Körpers einer Person. In dem Schritt 406 wird ein Vektor b für die lange Achse des Körpers des Benutzers definiert. Der Vektor b hat eine Richtung von dem Basismerkmal zu dem Kopfmerkmal und erhält eine Länge von einer Einheit. In dem Schritt 408 wird ein Vektor a für den zeigenden Arm des Benutzers definiert. Aus der Tafel mit biometrischen Daten wird eine Schulterposition erhalten als ein bestimmter Offset der Position des Kopfmerkmals. Der Vektor a hat eine Richtung von der Schulterposition zu der Position der Hand und wird gegeben durch eine Länge einer Einheit. In dem Schritt 410 wird die Länge 1 des Arms des Benutzers, wie diese in dem Bild erscheint, gemessen. Der Arm in dem Bild ist eine Projektion des wirklichen dreidimensionalen Arms auf das Bild und ist kürzer als die volle, wirkliche Länge 1, und zwar durch die Verkürzung der Projektion.
Zum Schluss wird in den Schritten 412 und 414 die Position der Hand berechnet, und zwar auf Basis der oben erhaltenen Daten. In dem Schritt 412 wird der Winkel θ₁ zwischen dem Vektor a und dem Vektor b unter Anwendung der nachfolgenden Gleichung berechnet: θ1 = cos–1 (a.b) (1)
Diese einfache Beziehung ist wahr, da a und b Vektoren einheitlicher Länge sind. Die Vektoren a und b liegen beide in der Ebene des Bildes, ebenso wie der Winkel θ₁. In dem Schritt 414 wird der Winkel θ₂ zwischen dem zeigenden Arm des Benutzers und der Ebene des Bildes unter Verwendung der nachfolgenden Gleichung berechnet: θ2 = cos–1(I ^/1) (2)
Wie oben bereits beschrieben, ist die Länge 1 die wahre Länge des Arms, während die Länge 1 die Länge des Arms ist, wie in dem Bild gesehen. Je mehr der Arm aus der Bildebene heraus zeigt, umso kürzer wird die Länge 1 sein. Dies entspricht der obenstehenden Gleichung (2).
Nun ist, wo die Position der Schulter, der Winkel θ₁, der Winkel θ₂ und die Armlänge 1 gegeben ist, die Position der Hand in den drei Dimensionen des Koordinatenrahmens des Systems völlig bestimmt. Daraufhin wird diese Handposition benutzt um zu ermitteln, auf welche Option der Benutzer zeigt. Es sei bemerkt, dass die Messungen und die Berechnungen der Schritte 404 und 414 an dem Bild des Benutzers durchgeführt werden, nachdem dies zu der XY-Ebene transformiert worden ist. Diese Transformation wird durchgeführt um zu berücksichtigen, dass die Kamera nicht unmittelbar von dem Benutzer steht. Sollte die Kamera unmittelbar vor dem Benutzer stehen, so braucht die Transformation nicht durchgeführt zu werden.
5 zeigt die Ermittlung der angezeigten Option auf Basis der Handposition. Diese 5 zeigt in Seitenansicht den Videoschirm 102 mit den selektierbaren Optionen 110 und den Benutzer 108, der in dem Interaktionsbereich 104 steht. Die Position einer zweigen Hand 502 wird auf Basis des von der Kamera 106 erstellten Bildes berechnet. In der vorliegenden Ausführungsform wird um zu ermitteln, auf welche Option der Benutzer zeigt, eine Erfassungslinie 504 durch das Auge des Benutzers und die Hand des Benutzers ermittelt. Die Position des Auges ist ein bestimmter Offset der Position des Kopfmerkmals und wird aus der Tafel mit biometrischen Daten erhalten. Wenn die bekannten Positionen von Auge und Hand des Benutzers und die Position des Videoschirms gegeben sind, wird der Schnittpunkt 506 zwischen der Linie 504 und dem Videoschirm 102 berechnet. Der Abstand zwischen dem Benutzer, dargestellt durch eine Fußposition, und dem selektierba ren Objekt, wiedergegeben am Videoschirm, wird entsprechend den oben gegebenen Schritten berechnet. Aus dem Vergleich dieses Schnittpunktes 506 mit der bekannten Position der selektierbaren Option kann auf einfache Weise ermittelt werden, auf welche Option der Benutzer zeigt, wenn überhaupt. Es gibt Alternativen zur Definition der Schnittlinie 504, wobei beispielsweise die Linie durch die Schulter und die Hand des Benutzers mit dem zeigenden Arm des Benutzers zusammenfällt.
6 zeigt die wichtigsten Elemente des Systems nach der vorliegenden Erfindung. Das System 600 ist entsprechend einer bekannten Architektur implementiert worden und kann mit einem allgemeinen Computer verwirklicht werden. Das System hat einen Prozessor 602 zum Durchführen von Instruktionen eines Applikationsprogramms, das in den Arbeitsspeicher 604 geladen ist. Das System hat weiterhin eine Schnittstelle 606 zum Kommunikation mit peripheren Anordnungen. Es gibt einen Bus 608 zum Austauschen von Befehlen und Daten zwischen den jeweiligen Elementen des Systems. Die Randapparatur des Systems umfasst ein Speichermedium 610 mit den durchführbaren Programmen. Das Speichermedium 610 ist eine magnetische Festplatte, kann aber auch als mehrere einzelne Anordnungen ausgebildet sein, eventuell aus verschiedenen Arten von Speicheranordnungen. Anwendung der vorliegenden Erfindung ist nicht auf den Typ der Anordnung begrenzt und Speichermedien, die benutzt werden können, umfassen optische Platten, magnetische Platten, Band, Chip-Karten, Halbleiteranordnungen oder Kombinationen derselben. Das System hat weiterhin einen Ausgang 614 zum Senden eines Videobildes mit den selektierbaren Optionen zu dem Video-Wiedergabeschirm. Weiterhin hat das System einen Eingang 616 zum Empfangen eines von der Kamera erstellten Videos.
Zum Durchführen der jeweiligen Aufgaben wird eine Anzahl Software-Einheiten in den Arbeitsspeicher 604 geladen, unter denen die Nachfolgenden:

– eine Initialisierungseinheit 618 zum Ermitteln der Größe des Benutzers;
– eine Merkmalermittlungseinheit 620 um, basiert auf dem Bild, eine Merkmalposition eines Körpermerkmals des Benutzers in dreidimensionalem Raum zu ermitteln;
– eine weitere Ermittlungseinheit 622 um, basiert auf dem Bild, eine Fußposition eines Fußes des Benutzers, eine Projektion des Arms des Benutzers an der Bildebene und eine lange Achse des Körpers des Benutzers an der Bildebene zu ermitteln;
– eine Bestätigungseinheit 624 um aus dem Bild zu bestätigen, ob der Benutzer auf die bestimmte Option zeigt; und
– eine Folgerungseinheit 626 um zu folgern, dass der Benutzer die bestimmte Option selektiert hat, in dem Fall, wo die Bestätigungsmittel bestätigt haben, dass der Benutzer auf die bestimmte Option zeigt.

Weiterhin hat der Arbeitsspeicher 604 Speicherraum 628 zur einstweiligen Speicherung von Eingangs- und Ausgangsdaten und von Zwischenergebnissen, wie der Körperkontur und der Positionen der jeweiligen Körpermerkmale in dem Bild, das von dem System analysiert wird.
Die vorliegende Erfindung ist in einem System dargestellt, bei dem der Benutzer mit dem Arm auf eine Option zeigt, die an einem relativ großen Videoschirm dargestellt wird. Es dürfte einleuchten, dass die vorliegende Erfindung ebenfalls bei Systemen geringerer Abmessungen angewandt werden kann. Ein Beispiel ist ein PC, wobei die selektierbaren Optionen an dem relativ kleinen Computer-Monitor wiedergegeben werden und wobei ein Benutzer mit dem Finger auf die gewünschte Option zeigen darf. Dann wird, auf ähnliche Weise wie oben beschrieben, die Option, auf die der Benutzer zeigt, durch Berechnung der dreidimensionalen Position der Fingerspitze und dadurch ermittelt, dass dies auf die betreffenden Positionen der an dem Monitor wiedergegebenen selektierbaren Optionen bezogen wird.
Text in der Zeichnung
2
Start
Wiedergabe Optionen
Erstellen eines Bildes
Position des Merkmals
Angezeigte Option
Aktion
Nächste Wiedergabe
Ende
4
Start
Kamera kalibrieren
Länge 1 des Arms
Lange Achse b
Armvektor a
Länge 1 ^ des Arms
Ende

Claims

Verfahren, wobei dem Benutzer die Möglichkeit geboten wird, aus einem Satz selektierbarer Optionen eine bestimmte Option zu selektieren, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Wiedergeben des Satzes selektierbarer Optionen an betreffenden Optionsstellen, – indem dem Benutzer die Möglichkeit geboten wird, auf die bestimmte Option physikalisch zu zeigen, das Abbilden des Benutzers, – auf Basis des Bildes das Bestimmen einer Position eines zeigenden Endes eines Arms des Benutzers in einem dreidimensionalen Raum, – das aus dem Bild Ermitteln, ob der Benutzer auf eine bestimmte Option zeigt, und zwar auf Basis der Position des Körpers und der Optionsstelle der bestimmten Option, und – sollte dies der Fall sein, das Folgern, dass der Benutzer die bestimmte Option selektiert hat; dadurch gekennzeichnet, dass das Verfahren weiterhin auf Basis des Bildes die Ermittlung einer Fußposition eines Fußes des Benutzers, eine Projektion des Arms des Benutzers auf die Bildfläche, und eine lange Achse des Körpers des Benutzers auf der Bildfläche umfasst, und dass die Ermittlung der Merkmalposition weiterhin Folgendes umfasst: – das Ermitteln des Abstandes zwischen der Optionsposition der bestimmten Option und der Fußposition, – das Ermitteln eines ersten Winkels zwischen der Projektion des Arms des Benutzers und der Projektion der langen Achse des Körpers des Benutzers, und – das Ermitteln eines zweiten Winkels zwischen dem Arm des Benutzers und der Ebene des Bildes auf Basis einer geschätzten Armlänge des Arms des Benutzers und einer ermittelten Länge der Projektion des Arms.
Verfahren nach Anspruch 1, wobei der Satz selektierbarer Gegenstände an einem dem Benutzer zugewandten Videoschirm wiedergegeben wird.
Verfahren nach Anspruch 1 mit einem Initialisierungsschritt, wobei die Grö ße des Benutzers ermittelt wird, wobei die geschätzte Armlänge aus biometrischen Daten auf Basis der Größe des Benutzers erhalten wird.
System (600), bei dem einem Benutzer die Möglichkeit geboten wird, aus einem Satz selektierbarer Optionen eine bestimmte Option zu wählen, wobei das System die nachfolgenden Elemente umfasst: – Wiedergabemittel (102) zum Wiedergeben des Satzes selektierbarer Optionen an betreffenden Optionspositionen, – Bildaufnahmemittel (106) zum Machen eines Bildes vom Benutzer, – Merkmalermittlungsmittel (620) um auf Basis des Bildes eine Merkmalposition eines zeigenden Endes eines Arms des Benutzers in einem dreidimensionalen Raum zu ermitteln, – Ermittlungsmittel (624) um aus dem Bild zu ermitteln, ob der Benutzer auf Basis der Merkmalposition des Körpermerkmals und der Optionsposition der betreffenden Option auf eine bestimmte Option zeigt, und – Folgerungsmittel (626) um zu folgern, dass der Benutzer die bestimmte Option selektiert hat, in dem Fall, dass die Ermittlungsmittel ermittelt haben, dass der Benutzer auf die bestimmte Option zeigt, dadurch gekennzeichnet, dass das System weitere Ermittlungsmittel (622) aufweist um auf Basis des Bildes eine Fußposition eines Fußes des Benutzers, eine Projektion des Arms des Benutzers auf die Bildfläche und eine lange Achse des Körpers des Benutzers auf die Bildfläche zu ermitteln, und dass die Merkmalermittlungsmittel (620) für die nachfolgenden Zwecke vorgesehen sind: – das Ermitteln des Abstandes zwischen der Optionsposition der bestimmten Option und der Fußposition, – das Ermitteln eines ersten Winkels zwischen der Projektion des Arms des Benutzers und der Projektion der langen Achse des Körpers des Benutzers, und – das Ermitteln eines zweiten Winkels zwischen dem Arm des Benutzers und der Bildebene auf Basis einer geschätzten Armlänge des Arms des Benutzers und einer ermittelten Länge der Projektion des Arms.
System (600) nach Anspruch 4, wobei die Wiedergabemittel (102) einen Videoschirm aufweisen, der dem Benutzer zugewandt ist zur Wiedergabe des Satzes selek tierbarer Gegenstände.
System (600) nach Anspruch 4 mit Initialisierungsmitteln (618) zum Ermitteln der Größe des Benutzers, wobei die Merkmalermittlungsmittel dazu vorgesehen sind, aus biometrischen Daten auf Basis der Größe des Benutzers die geschätzte Armlänge zu erhalten.