DE102004061841A1 - Markerloses Tracking System für Augmented Reality Anwendungen - Google Patents
Markerloses Tracking System für Augmented Reality Anwendungen Download PDFInfo
- Publication number
- DE102004061841A1 DE102004061841A1 DE102004061841A DE102004061841A DE102004061841A1 DE 102004061841 A1 DE102004061841 A1 DE 102004061841A1 DE 102004061841 A DE102004061841 A DE 102004061841A DE 102004061841 A DE102004061841 A DE 102004061841A DE 102004061841 A1 DE102004061841 A1 DE 102004061841A1
- Authority
- DE
- Germany
- Prior art keywords
- data model
- features
- initialization object
- initialization
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
System zum markerlosen Tracking von Objekten, bestehend aus einem Mischsystem (600-1) zur gleichzeitigen Anzeige eines Videobildes und einem dreidimensionalen Datenmodell, einem Definitionssystem (600-2) zur Festlegung von Suchräumen im Videobild, einem Suchsystem (600-3) zur Suche von Features im Kamerabild, einem Zuordnungssystem (600-4) zur Zuordnung von Features im Kamerabild zu Features des Datenmodells sowie einem Positionsbestimmungssystem (600-5) zur Bestimmung der Position der Kamera, dadurch gekennzeichnet, dass der Suchraum für im Kamerabild befindliche Features durch den Benutzer durch Manipulation eines dreidimensionalen Datenmodells eingeschränkt wird.
Description
- Aus dem Stand der Technik sind sogenannte Augmented Reality Systeme bekannt. Diese erlauben die Überlagerung von computergenerierten, virtuellen Informationen mit Seheindrücken der realen Umgebung. Hierzu werden die Seheindrücke der realen Welt, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen bzw. Objekte kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen etc. verwendet werden. Die reale Umgebung kann mit einer, beispielsweise auf dem Kopf des Anwenders getragenen, Kamera erfasst werden.
- Dokumentierte Anwendungen der Technologie sehen einen Einsatz in der Produktion, im Service und in der Entwicklung komplexer Produkte vor. Auch ist der Einsatz der Technologie aus der Produktion von Flugzeugen bekannt. Nach der Druckschrift
DE 198 32 974 A1 undDE 101 28 015 A1 ist der Einsatz von Augmented Reality Technologien in Produktionsumgebungen bekannt. - Zusätzlich sind aus dem Stand der Technik optische Positionserfassungssysteme bekannt, die die Position und oder Orientierung von Objekten in einem Vermessungsraum bestimmen. Diese sogenannten Tracking-Systeme erlauben beispielsweise die Erfassung von bis zu sechs Freiheitsgraden eines Objektes. Zum Einsatz kommen Systeme mit unterschiedlichsten physikalischen Wirkprinzipien. Gängig sind sogenannte optische Tracking-Systeme, die durch verschiedene Verfahren der computergestützten Bildverarbeitung die Position von im Vermessungsraum befindlichen Objekten und/oder die Position der Kamera über die Erkennung der Objekte bestimmen. Da die freie Suche nach Objekten mittels heute verfügbarer Rechenleistung nicht in ausreichender Geschwindigkeit möglich ist, werden vereinfachende Annahmen getroffen.
- Eine Möglichkeit zur Vereinfachung der Komplexität, ist die Ausstattung des Trackingraums mit kontrastreichen, leicht zu erkennenden Markierungen, im Folgenden als Marker bezeichnet. Dieser Ansatz hat allerdings den Nachteil, dass der Trackingraum ausgestattet werden muss und das Tracking nur im ausgestatteten Bereich möglich ist. Optische Trackingverfahren mit dieser Methode werden allgemein als markerbasierte Trackingverfahren bezeichnet.
- Eine andere Möglichkeit zur Vereinfachung der Komplexität ist der Einsatz von Modellen, zum Beispiel statistischen Bewegungsmodellen und/oder zusätzlichen Sensoren, zum Beispiel Beschleunigungssensoren, welche den Suchraum der Bildverarbeitungsalgorithmen einschränken. Obwohl dieser Ansatz die Komplexität vereinfacht, ohne dass eine Ausstattung des Raumes nötig ist, kann er nicht bei der Initialisierung behilflich sein. Initialisierung bedeutet in diesem Zusammenhang die Festlegung des inneren Zustands des Systems, so dass der Trackingvorgang erfolgreich und in ausreichend kurzer Zeit durchgeführt werden kann. Das System muss zuerst in einen gültigen Anfangszustand versetzt werden. Dieser Anfangszustand umfasst die ungefähre Position und Orientierung der Realität zur Kamera und vorteilhafterweise Angaben zur aktuellen Bewegung der Kamera.
- Systeme, welche auf spezielle Markierungen (Marker) im Raum nicht angewiesen sind, sind aus folgenden Druckschriften bekannt und werden im Folgenden als markerlose Tracking-Systeme bezeichnet:
(Behringer, R.; Park,J.; Sundareswaran, V.: Model-Based Visual Tracking for Outdoor Augmented Reality Applications. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 277 Genc, Y.; Riedel, S.; Souvannavong, F.; Akinlar, C.; Navab, N.: Marker-less Tracking for AR: A Learning-Based Approach. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 295 Kar Wee Chia, Adrian David Cheok, Simon J.D. Prince: Online 6 DOF Augmented Reality Registration from Natural Features. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 277). - Eingangsinformation des Systems ist ein zweidimensionales Feld von Rot-, Grün- und Blauintensitäten im Kamerabild. Zusätzlich können Beschleunigungsdaten von zusätzlichen Sensoren eingelesen werden. Ausgangsdaten des Systems sind die Position und Orientierung von einem oder mehreren Objekten relativ zur Kamera. Die Elemente der Realität können dann beispielsweise ein Koordinatensystem für Augmented Reality-Informationen aufspannen. Position und Orientierung können beispielhafterweise durch eine Transformationsmatrix beschrieben werden.
- Zur Bestimmung der Transformationsmatrix sind unterschiedlichste Verfahren bekannt. Manche Verfahren erkennen Features, beispielsweise Kanten oder Ecken, von realen Objekten und gleichen diese mit vorher hinterlegten digitalen Modellen der Realität ab (z.B. CAD-Geometrien, z.B. Flächenmodelle mit Texturinformationen). Andere Verfahren beginnen mit einem sehr einfachen Startmodell zur Initialisierung und fügen nach dem Initialisierungsschritt dem Modell der Realität weitere, aus dem Kamerabild extrahierte, Informationen hinzu.
- Die Bestimmung der Transformationsmatrix läuft nach der Initialisierung in folgenden prinzipiellen Schritten ab:
- – Einfache oder mehrfache Annahme einer wahrscheinlichen Position und Orientierung vorteilhafterweise mittels eines Bewegungsmodells
- – Einfache oder mehrfache Projektion des internen Modells in das Videobild
- – Abgleich der Projektion mit dem Bild der Realität zum Beispiel über das Messen von Punktabständen
- – Zuordnung von Punkten des Modells zu deren Referenz im Kamerabild
- – Bestimmung der Transformationsmatrix zur Kamera und vorteilhafterweise Bestimmung einer statistischen Aussage zur Qualität der Transformationsmatrix
- Nachteile
- Nachteilig an den bekannten Verfahren der markerlosen Tracking-Systeme ist eine mangelnde Lösung zur Initialisierung zu Beginn des Trackingvorgangs und nach dem Verlust der Trackingobjekte, wenn also der Abgleich der Projektion mit dem Bild der Realität fehlschlägt oder eine vorteilhafterweise generierte Aussage zu Qualität diese als zu gering einstuft.
- Vorhandene Verfahren benötigen eine umfangreiche Initialisierungprozedur durch einen erfahrenen Benutzer (z.B. durch das Anklicken von Punkten mit der Maus). Außerdem sind keine Verfahren bekannt, welche außerdem Beschleunigungs- und oder Bewegungszustände mitinitalisieren.
- Aufgabe der Erfindung
- Der Erfindung liegt die Aufgabe zu Grunde den Prozess zur Initialisierung markerlosen Tracking-Systems zu Vereinfachen und somit ein genaueres und schnelleres Tracking-System zu realisieren. Weitere Aufgaben ergeben sich aus der folgenden Beschreibung der Erfindung.
- Beschreibung der Erfindung
- Man unterscheidet zwischen einem Initialisierungsvorgang und einem Trackingvorgang.
- Während des Initialisierungsvorgangs wird ein sogenannter Marker oder ein beliebiges Objekt der realen Umgebung, im Folgenden Initialisierungsobjekt, mit der Kamera in Beziehung gesetzt, beispielsweise durch Messung der Position und/oder der Orientierung des Markers oder des Initialisierungsobjekts. Dadurch kann ein Kamerabild der realen Umgebung zugeordnet werden. Die reale Umgebung kann eine komplexe Vorrichtung und das Initialisierungsobjekt kann ein markantes Element der Vorrichtung sein.
- Während des folgenden Trackingvorgangs, das heißt der eigentliche Arbeitsvorgang, während beispielsweise ein Anwender des Systems kontextabhängige Information an einer gewünschten Position in Bezug zur realen Umgebung in einer verwendeten Anzeigeeinrichtung eingeblendet erhält, dient der Marker oder das Initialisierungsobjekt als Referenz, um die Position zu berechnen, an der die virtuelle Information an einem von der Kamera aufgenommenen Bild angezeigt oder eingeblendet werden soll. Da der Anwender seine Position und seine Orientierung zur Umgebung ändern kann, muss der Marker oder das Initialisierungsobjekt kontinuierlich nachverfolgt (Tracking) werden, um die virtuelle Information auch bei einer geänderten Position und/oder einer geänderten Orientierung des Anwenders an der korrekten Position in der Anzeigeeinrichtung anzuzeigen. Damit wird erreicht, dass die Information unabhängig von der Position und/oder der Orientierung des Anwenders in Bezug zur Realität in der Anzeigeeinrichtung angezeigt wird.
- Wartet beispielsweise ein Anwender des Systems eine komplexe Vorrichtung, könnte das System ein Vorrichtungselement (Objekt) mit einem Rahmen (virtuelle Information) kennzeichnen, und zwar unabhängig von der aktuellen Position oder Orientierung des Anwenders, solange der Marker oder das Initialisierungsobjekt mit der Kamera erfasst werden kann.
- Die Aufgabe der Erfindung wird erfindungsgemäß durch ein Verfahren zum Initialisieren eines Systems gelöst, wobei mit dem System Objekte einer realen Umgebung und virtuelle Information miteinander überlagert werden können, wobei mit einer Kamera ein Bild aufgenommen wird, welches ein Initialisierungsobjekt beinhaltet, das sich in der realen Umgebung befindet, das aufgenommene Bild und ein Datenmodell des Initialisierungsobjekts einem Anwender gemeinsam dargestellt werden, das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts überlagert werden und überlagert dargestellt werden, ein Suchbereich festgelegt wird, der das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts, wie überlagert, enthält, der Suchbereich nach mindestens einem Merkmal des Initialisierungsobjekts abgesucht wird und die Position, Orientie rung und/oder Größe des mindestens einen gefundenen Merkmals gespeichert wird.
- Das System kann ein optoelektronisches System, beispielsweise ein Bildverarbeitungssystem oder ein sogenanntes Tracking-System, sein.
- Die Kamera kann nicht-ortsfest sein, beispielsweise am Kopf eines Anwenders angeordnet sein. Es ist auch möglich, mit einer ortsfesten Kamera eine bewegte Umgebung oder ein bewegtes Objekt zu erfassen. Die Umgebung kann eine komplexe Vorrichtung zum Beispiel eine komplexe Maschine oder ein Schaltschrank sein. Das Initialisierungsobjekt kann ein besonders hervortretendes Element der komplexen Vorrichtung sein, beispielsweise ein gut sichtbares Maschinenelement oder ein Notausschalter des Schaltschranks.
- Die Darstellung kann über eine halbdurchlässige Brille erfolgen, wobei der Anwender in die Umgebung blickt und auf die halbdurchlässige Brille das Datenmodell des Initialisierungsobjekts projiziert wird. In diesem Fall kann eine Kalibrierung zwischen den Augen des Anwenders, der Kamera und der halbdurchlässigen Datenbrille über die sogenannte SPAAM (single point active alignment method) erfolgen. Ebenso kann das Datenmodell des Initialisierungsobjekts auf die Netzhaut des Anwenders projiziert werden. Dabei nimmt der Anwender das Initialisierungsobjekt ohne zwischengeschaltete Bildaufnahme wahr. Ferner können das Initialisierungsobjekt und ein Datenmodell des Initialisierungsobjekts auf einem kopfgetragenem Bildschirmsystem dargestellt werden.
- Das Datenmodell des Initialisierungsobjekts kann geometrische Information, beispielsweise Linien, Eckpunkte, Radien, etc., enthalten. Das Datenmodell des Initialisierungsobjekts kann durch Linien oder Eckpunkte angezeigt werden. Ferner kann das Datenmodell eine Repräsentation einer komplexen Geometrie, beispielsweise eines Rechtecks, eines Kreises, eines Zylinders, eines Quaders, eines Kegels, eines Prismas, etc., enthalten. Ferner kann das Datenmodell ein dreidimensionales Objektdatenmodell enthalten, z.B. CAD-Daten.
- Das Überlagern kann durch Bewegen der Kamera, so dass sich das Initialisierungsobjekt an einer vorgegebenen Position im Bild befindet, oder durch Bewegen des Datenmodells erfolgen.
- Bei der Festlegung des Suchbereichs können die Größe des Initialisierungsobjekts, die Größe des Datenmodels, eine Ungenauigkeit beim Überlagern des Datenmodells des Initialisierungsobjekts über das Initialisierungsobjekt, eine Größentoleranz und/oder eine Abweichung des Datenmodells vom Initialisierungsobjekt, die sich aus der noch unbekannten Position und Perspektive der Kamera ergeben, berücksichtigt werden. Ferner könne im Suchbereich Randbereiche berücksichtigt werden, die ein Bildverarbeitungsverfahren zum ordnungsgemäßen Absuchen des Suchbereichs benötigt.
- Der Suchbereich kann nach dem mindestens einen Merkmal mit Hilfe von Bildverarbeitungsverfahren abgesucht werden. Dazu können beispielsweise geometrische Filter oder Kantenfilter verwendet werden. Mögliche Bildverarbeitungsverfahren sind dem Fachmann hinreichend bekannt und brauchen an dieser Stelle nicht weiter erläutert zu werden.
- Die Position, Orientierung und/oder Größe bzw. Skalierung des mindestens einen gefundenen Merkmals wird gespeichert, da diese Information beim Tracking benötigt wird.
- Das Verfahren kann das beim Absuchen gefundene mindestens eine Merkmal des Initialisierungsobjekts dem Datenmodell des Initialisierungsobjekts zuordnen. Das kann beispielsweise durch heuristische Verfahren erfolgen, wie sie dem Fachmann per se bekannt sind. Enthält das Datenmodell Kanten, können Kanten als Merkmale gesucht werden und nach ihrem Finden den entsprechenden Kanten des Datenmodells des Initialisierungsobjekts zugeordnet werden. Das Verfahren vergleicht somit das Datenmodell des Initialisierungsobjekts mit dem Bild des Initialisierungsobjekts.
- Das Verfahren kann das dargestellte Datenmodell nach Größe und/oder Orientierung derart verändern, dass es mit dem von der Kamera aufgenommenen Bild des Initialisierungsobjekts im Wesentlichen übereinstimmt. Dieser Schritt kann vor oder nach dem Überlagern des Datenmodells über das aufgenommene Initialisierungsobjekt erfolgen. Ferner kann dieser Schritt nach Festlegen des Suchbereichs, während des Absuchens und während des Zuordnens erfolgen.
- Bei dem Verfahren kann das Verändern der Größe und/oder Orientierung des Datenmodells durch Manipulation des Datenmodells durch den Anwender vor dem Festlegen des Suchbereichs erfolgen. Dies kann beispielsweise während des Überlagerns erfolgen.
- Bei dem Verfahren kann das Verändern der Größe und/oder Orientierung des Datenmodells durch das System erfolgen. Das Verändern der Größe und/oder Orientierung des Datenmodells erfolgt vorzugsweise nach dem Festlegen des Suchbereichs. Es kann auch während des Absuchens oder während des Zuordnens erfolgen.
- Das Verfahren kann ferner die Kameraposition nach dem Zuordnen des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts bestimmen.
- Das Verfahren kann automatisch beendet werden, wenn eine hinreichend gute Zuordnung des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts erreicht wurde.
- Die zuvor hergeleitete und aus dem Stand der Technik hervorgehende Aufgabe wird erfindungsgemäß auch durch ein System und Verfahren gelöst, bei dem der Lösungsraum für das Finden von Features im Videobild reduziert wird.
- Das erfindungsgemäße Verfahren sieht die Verwendung eines digitalen, dreidimensionalen Datenmodells (
200 ) von Objekten der realen Umgebung zur Identifikation von Features im Videobild der Kamera (400-2 ) vor (1 ). Das dreidimensionale Datenmodell (200 ) wird dabei dem Anwender (300 ), vorteilhafterweise mit einem kopfgetragenen Bildschirmsystem (Head Mounted Display) (400-1 ), angezeigt. Gleichzeitig wird die reale Umgebung des Anwenders, vorteilhafterweise in Form eines Videobildes der realen Umgebung, angezeigt. Der Anwender überlagert das dreidimensionale Datenmodell des Objektes mit der realen Umgebung, sodass, entsprechend der momentanen Blickrichtung des Anwenders, das Objekt der realen Umgebung (100 ) durch dessen digitales Datenmodell (200 ) überdeckt dargestellt wird. - Features des realen Objektes werden über bekannte Features des digitalen Datenmodells unter Zuhilfenahme von Algorithmen identifiziert. Dies ist in
1 beispielhaft für die Eckpunkte (P1, P2, P3) eines realen Würfels (100 ) dargestellt. Die Dimensionen des realen Würfels sind über dessen digitales Datenmodell (200 ) bekannt. Zusätzlich sind die Positionen der Eckpunkte des realen Würfels in Bezug auf ein ortsfestes Koordinatensystem bekannt. Mit dem erfindungsgemäßen Verfahren wird der Suchraum im Videobild der Kamera (400-2 ) in dem nach Features, im Beispiel nach Punkten, gesucht wird, auf die projizierten Punkte (P'1, P'2, P'3) und/oder deren unmittelbare Umgebung beschränkt. Die Identifikation der Punkte wird dadurch signifikant reduziert, da alle weiteren gefundenen Punkte im Videobild vernachlässigt werden. - Das erfindungsgemäße System ist in
2 dargestellt. Eingangsgrößen des Systems sind ein Videobild (400-3) der Kamera (400-2 ) sowie das digitale Datenmodell eines realen Objektes (200 ), das über das Datenhaltungssystem (800 ) zur Verfügung gestellt wird. Im Mischsystem (600-1 ) wird zunächst das Datenmodell (200 ) sowie das Videobild (400-3 ) dem Anwender (300 ) im Anzeigegerät (500 ), vorteilhafterweise in einem kopfgetragenen Bildschirmsystem (400-1 ), angezeigt. Das Mischsystem (600-1 ) übergibt das Videobild (400-3 ) und das Datenmodell (200 ) an ein Definitionssystem (600-2 ). - Durch Manipulation des Datenmodells (
200 ) und/oder Interaktion mit dem Datenmodell erzeugt der Anwender (300 ) die Eingangsgröße (700 ) für das Definitionssystem (600-2 ). Das Definitionssystem (600-2 ) legt zweidimensionale Suchräume im Videobild (400-3 ) fest und übergibt deren Dimension und Lage dem Suchsystem (600-3 ). Das Suchsystem (600-3 ) sucht Features im Videobild und übergibt diese an das Zuordnungssystem (600-4 ). Dieses ordnet den im Videobild (400-3 ) gefundenen Features Features des Datenmodells (200 ) zu und übergibt die Koordinaten der im Videobild gefundenen Features dem Positionsbestimmungssystem (600-5 ). Eingangsinformation des Positionsbestimmungssystems sind zusätzlich die Koordinaten (900 ) des realen Objektes im ortsfesten Raumkoordinatensystem die über das Datenhaltungssystem (800 ) zur Verfügung gestellt werden. Das Positionsbestimmungssystems (600-5 ) berechnet auf Basis der Koordinaten der Features im Kamerabild sowie der Koordinaten der Features im ortsfesten Koordinatensystem (900 ) die Position der Kamera (400-2 ) in Form einer Transformationsmatrix (1000 ). - Ausgangsgröße des Positionsbestimmungssystems (
600-5 ) bildet die Transformationsmatrix (1000 ) die von weiteren Systemen, z.B. Augmented Reality Systemen, verwendet werden kann. - Vorteile und Anwendungen des Systems und Verfahrens
- Vorteile des beschriebenen Systems und Verfahrens zur markerlosen Positionsbestimmung bestehen in der Einschränkung des für das Feature-Finding notwendigen Suchraum. Features, die im Videobild gefunden werden, für die Positionsbestimmung im Sinne des Trackings aber irrelevant sind werden so von der rechenintensiven Bildverarbeitung ausgeschlossen. Dadurch steigt die Performanz sowie die Stabilität des Gesamtsystems erheblich.
- Mögliche Anwendungen des Systems und Verfahrens schließen insbesondere Anwendungen der Augmented Reality Technologie in den Bereiche Service und Wartung, Produktion sowie weitere Anwendungen im mobilen Umfeld ein.
-
- 100
- Reales Objekt
- 200
- Dreidimensionales digitales Datenmodell des realen Objektes
- 300
- Anwender
- 400-1
- Kopfgetragenes Bildschirmsystem
- 400.2
- Kamera
- 400.3
- Videobild der Kamera
- 500
- Anzeigegerät
- 600.1
- Mischsystem
- 600.2
- Definitionssystem
- 600.3
- Suchsystem
- 600.4
- Zuordnungssystem
- 600.5
- Positionsbestimmungssystem
- 700
- Benutzerinteraktion
- 800
- Datenhaltungssystem
- 900
- Ortsfeste Objektkoordinaten
- 1000
- Transformationsmatrix
Claims (16)
- Verfahren zum Initialisieren eines Systems, wobei mit dem System Objekte einer realen Umgebung und virtuelle Information miteinander überlagert werden können, dadurch gekennzeichnet, dass mit einer Kamera ein Bild aufgenommen wird, welches ein Initialisierungsobjekt beinhaltet, das sich in der realen Umgebung befindet:; dass das aufgenommene Bild und ein Datenmodell des Initialisierungsobjekts einem Anwender gemeinsam dargestellt werden; dass das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts überlagert werden und überlagert dargestellt werden; dass ein Suchbereich festgelegt wird, der das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts, wie überlagert, enthält; dass der Suchbereich nach mindestens einem Merkmal des Initialisierungsobjekts abgesucht wird; und dass die Position, Orientierung und/oder Größe des mindestens einen gefundenen Merkmals gespeichert wird.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das beim Absuchen gefundene mindestens eine Merkmal des Initialisierungsobjekts dem Datenmodell des Initialisierungsobjekts zugeordnet wird.
- Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das dargestellte Datenmodell nach Größe und/oder Orientierung derart verändert wird, dass es mit dem von der Kamera aufgenommenen Bild des Initialisierungsobjekts im Wesentlichen übereinstimmt.
- Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Verändern der Größe und/oder Orientierung des Datenmodells durch Manipulation des Datenmodells durch den Anwender vor dem Festlegen des Suchbereichs erfolgt.
- Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Verändern der Größe und/oder Orientierung des Datenmodells durch das System erfolgt.
- Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Datenmodell ein dreidimensionales Objektdatenmodell enthält.
- Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren ferner die Kameraposition nach dem Zuordnen des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts bestimmt.
- Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Verfahren automatisch beendet wird, wenn eine hinreichend gute Zuordnung des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts erreicht wurde.
- Verfahren zum markerlosen Tracking von Objekten, dadurch gekennzeichnet, dass der Suchraum für die Suche von Features im Kamerabild durch digitale Datenmodelle reduziert wird.
- System zum markerlosen Tracking von Objekten nach
1 , bestehend aus einem Mischsystem (600-1 ) zur gleichzeitigen Anzeige eines Videobildes und einem dreidimensionalen Datenmodell, eines Definitionssystems (600-2 ) zur Festlegung von Suchräumen im Videobild, eines Suchsystems (600-3 ) zur Suche von Features im Kamerabild, eines Zuordnungssystems (600-4 ) zur Zuordnung von Features im Kamerabild zu Features des Datenmodells sowie eines Positionsbestimmungssystem (600-5 ) zur Bestimmung der Position der Kamera, dadurch gekennzeichnet, dass der Suchraum für im Kamerabild befindliche Features durch den Benutzer durch Manipulation eines dreidimensionalen Datenmodells eingeschränkt wird. - System zum markerlosen Tracking, dadurch gekennzeichnet, dass ein digitales Datenmodell zur Zuordnung von Features im Videobild verwendet wird.
- System nach Anspruch 10, dadurch gekennzeichnet, dass der Austausch von Informationen zwischen den Subsystemen Misch-, Definitions-, Such-, Zuordnungs- und Positionsbestimmungssystem per drahtlloser Übertragungstechnik stattfindet.
- System dadurch gekennzeichnet, dass der Nutzer die Position, Skalierung und Orientierung des eingeblendeten digitalen Datenmodells interaktiv verändern kann, um sie seiner aktuellen Blickrichtung anzupassen und damit den Zustandsvektor des Trackingsystems anpasst.
- System dadurch gekennzeichnet, dass das eingeblendete digitale Datenmodell die vom Algorithmus verwendeten Messbereiche für den Nutzer besonders hervorhebt, um die Initalisierung zu vereinfachen.
- System dadurch gekennzeichnet, dass das System eigenständig erkennt, wann die Initialisierungsposition erreicht ist.
- Verfahren, dadurch gekennzeichnet, dass ein Bewegungsmodell durch die Feststellung der Bewegung des Benutzers zum Zeitpunkt der Initialisierungsposition durch Zusatzinformationen (vorteilhafterweise Optical Flow, oder Beschleunigungssensoren) ebenfalls initalisiert wird.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102004061841A DE102004061841B4 (de) | 2003-12-22 | 2004-12-22 | Markerloses Tracking System für Augmented Reality Anwendungen |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10360447.2 | 2003-12-22 | ||
| DE10360447 | 2003-12-22 | ||
| DE102004061841A DE102004061841B4 (de) | 2003-12-22 | 2004-12-22 | Markerloses Tracking System für Augmented Reality Anwendungen |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102004061841A1 true DE102004061841A1 (de) | 2005-07-14 |
| DE102004061841B4 DE102004061841B4 (de) | 2010-09-16 |
Family
ID=34673017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102004061841A Expired - Fee Related DE102004061841B4 (de) | 2003-12-22 | 2004-12-22 | Markerloses Tracking System für Augmented Reality Anwendungen |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102004061841B4 (de) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006004731A1 (de) * | 2006-02-02 | 2007-08-09 | Bayerische Motoren Werke Ag | Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes |
| WO2008031369A1 (de) * | 2006-09-15 | 2008-03-20 | Siemens Aktiengesellschaft | System und verfahren zur bestimmung der position und der orientierung eines anwenders |
| FR2911708A1 (fr) * | 2007-01-22 | 2008-07-25 | Total Immersion Sa | Procede et dispositif de creation d'au moins deux images cles correspondant a un objet tridimensionnel. |
| CN102737534A (zh) * | 2011-04-13 | 2012-10-17 | 南京大学 | 一种实现无标记增强现实钢琴教学系统的方法 |
| DE102011122206A1 (de) | 2011-12-23 | 2013-06-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betrieb eines Augmented-Reality-Systems |
| DE102012209664A1 (de) * | 2012-06-08 | 2013-12-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum kalibrieren von trackingsystemen |
| DE102012014995A1 (de) * | 2012-07-28 | 2014-01-30 | Volkswagen Aktiengesellschaft | Verfahren zum Betrieb eines Augmented-Reality-Systems |
| DE102013207063A1 (de) * | 2013-04-19 | 2014-10-23 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Auswählen einer Informationsquelle aus einer Mehrzahl von Informationsquellen zur Anzeige auf einer Anzeige einer Datenbrille |
| US20170006235A1 (en) * | 2015-07-03 | 2017-01-05 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| US9823741B2 (en) | 2013-04-19 | 2017-11-21 | Bayerische Motoren Werke Aktiengesellschaft | Method for selecting an information source for display on smart glasses |
| WO2018022252A1 (en) * | 2016-07-27 | 2018-02-01 | Google Inc. | Low-power mode feature identification at a head mounted display |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19832974A1 (de) * | 1998-07-22 | 2000-01-27 | Siemens Ag | Vorrichtung und Verfahren zur Erstellung eines virtuellen Anlagenmodells |
| DE10127396A1 (de) * | 2000-06-13 | 2001-12-20 | Volkswagen Ag | Verfahren zum Verwerten eines Altfahrzeugs |
| US6940538B2 (en) * | 2001-08-29 | 2005-09-06 | Sony Corporation | Extracting a depth map from known camera and model tracking data |
| JP2003215494A (ja) * | 2002-01-22 | 2003-07-30 | Canon Inc | 複合現実感提示装置および画像処理方法 |
| US7190331B2 (en) * | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
| US7391424B2 (en) * | 2003-08-15 | 2008-06-24 | Werner Gerhard Lonsing | Method and apparatus for producing composite images which contain virtual objects |
-
2004
- 2004-12-22 DE DE102004061841A patent/DE102004061841B4/de not_active Expired - Fee Related
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006004731A1 (de) * | 2006-02-02 | 2007-08-09 | Bayerische Motoren Werke Ag | Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes |
| DE102006004731B4 (de) | 2006-02-02 | 2019-05-09 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes |
| WO2008031369A1 (de) * | 2006-09-15 | 2008-03-20 | Siemens Aktiengesellschaft | System und verfahren zur bestimmung der position und der orientierung eines anwenders |
| FR2911708A1 (fr) * | 2007-01-22 | 2008-07-25 | Total Immersion Sa | Procede et dispositif de creation d'au moins deux images cles correspondant a un objet tridimensionnel. |
| WO2008107554A3 (fr) * | 2007-01-22 | 2009-05-14 | Total Immersion | Procédé et dispositif de création d'au moins deux images clés correspondant à un objet tridimensionnel |
| US8614705B2 (en) | 2007-01-22 | 2013-12-24 | Total Immersion | Method and device for creating at least two key frames corresponding to a three-dimensional object |
| CN102737534A (zh) * | 2011-04-13 | 2012-10-17 | 南京大学 | 一种实现无标记增强现实钢琴教学系统的方法 |
| DE102011122206A1 (de) | 2011-12-23 | 2013-06-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betrieb eines Augmented-Reality-Systems |
| DE102012209664B4 (de) | 2012-06-08 | 2017-03-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum kalibrieren von trackingsystemen |
| DE102012209664A1 (de) * | 2012-06-08 | 2013-12-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum kalibrieren von trackingsystemen |
| DE102012014995A1 (de) * | 2012-07-28 | 2014-01-30 | Volkswagen Aktiengesellschaft | Verfahren zum Betrieb eines Augmented-Reality-Systems |
| DE102013207063A1 (de) * | 2013-04-19 | 2014-10-23 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Auswählen einer Informationsquelle aus einer Mehrzahl von Informationsquellen zur Anzeige auf einer Anzeige einer Datenbrille |
| US9823741B2 (en) | 2013-04-19 | 2017-11-21 | Bayerische Motoren Werke Aktiengesellschaft | Method for selecting an information source for display on smart glasses |
| US20170006235A1 (en) * | 2015-07-03 | 2017-01-05 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| CN106331797A (zh) * | 2015-07-03 | 2017-01-11 | Lg电子株式会社 | 移动终端及其控制方法 |
| WO2018022252A1 (en) * | 2016-07-27 | 2018-02-01 | Google Inc. | Low-power mode feature identification at a head mounted display |
| US10529135B2 (en) | 2016-07-27 | 2020-01-07 | Google Llc | Low-power mode feature identification at a head mounted display |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102004061841B4 (de) | 2010-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1770607B1 (de) | System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen | |
| DE69807479T2 (de) | Erzeugung eines Bildes eines dreidimensionalen Objekts | |
| DE60225933T2 (de) | Tragbare virtuelle realität | |
| US5828779A (en) | Method for constructing a color table in a computer unit for the classification of picture elements in an image | |
| DE69331259T2 (de) | Räumliche Mensch-Schnittstelle durch Bewegungserkennung mit dynamischer Bildverarbeitung | |
| DE60133386T2 (de) | Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren | |
| DE60205662T2 (de) | Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige | |
| DE102014006732B4 (de) | Bildüberlagerung von virtuellen Objekten in ein Kamerabild | |
| WO2019201652A1 (de) | Verfahren zur benutzung einer mehrgliedrigen aktuierten kinematik, vorzugsweise eines roboters, besonders vorzugsweise eines knickarmroboters, durch einen benutzer mittels einer mobilen anzeigevorrichtung | |
| EP2977961B1 (de) | Verfahren und Kommunikationseinrichtung zum Erstellen und/oder Ändern virtueller Objekte | |
| DE102007023640A1 (de) | Virtueller Arbeitsplatz | |
| DE19955690A1 (de) | System und Verfahren zur auf einer Volumendarstellung basierenden Segmentation | |
| DE102016212236A1 (de) | Interaktionssystem und -verfahren | |
| DE102004016331B4 (de) | Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen | |
| DE102004061841B4 (de) | Markerloses Tracking System für Augmented Reality Anwendungen | |
| DE69623385T2 (de) | Interaktive Bilderzeugungsmethode und Gerät | |
| DE69725953T2 (de) | Bildanzeigeverfahren und -gerät | |
| DE19906995A1 (de) | Erzeugen von Anpaßdaten für einen virtuellen Szenenaufbau | |
| DE112019006107B4 (de) | Authoring-Vorrichtung, Authoring-Verfahren und Authoring-Programm | |
| WO2020126240A1 (de) | Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung | |
| DE102007057208A1 (de) | Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum | |
| DE102015115394A1 (de) | Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät | |
| DE10215885A1 (de) | Automatische Prozesskontrolle | |
| DE102006004731B4 (de) | Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes | |
| WO2013164208A1 (de) | Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8110 | Request for examination paragraph 44 | ||
| 8127 | New person/name/address of the applicant |
Owner name: METAIO GMBH, 85748 GARCHING, DE |
|
| 8364 | No opposition during term of opposition | ||
| R082 | Change of representative |
Representative=s name: SCHMITT-NILSON SCHRAUD WAIBEL WOHLFROM PATENTA, DE Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE |
|
| R081 | Change of applicant/patentee |
Owner name: APPLE INC., CUPERTINO, US Free format text: FORMER OWNER: METAIO GMBH, 85748 GARCHING, DE |
|
| R082 | Change of representative |
Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE |
|
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |