[go: up one dir, main page]

DE102004061841A1 - Markerloses Tracking System für Augmented Reality Anwendungen - Google Patents

Markerloses Tracking System für Augmented Reality Anwendungen Download PDF

Info

Publication number
DE102004061841A1
DE102004061841A1 DE102004061841A DE102004061841A DE102004061841A1 DE 102004061841 A1 DE102004061841 A1 DE 102004061841A1 DE 102004061841 A DE102004061841 A DE 102004061841A DE 102004061841 A DE102004061841 A DE 102004061841A DE 102004061841 A1 DE102004061841 A1 DE 102004061841A1
Authority
DE
Germany
Prior art keywords
data model
features
initialization object
initialization
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102004061841A
Other languages
English (en)
Other versions
DE102004061841B4 (de
Inventor
Thomas Dr. Alt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Augmented Solutions GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Augmented Solutions GmbH filed Critical Augmented Solutions GmbH
Priority to DE102004061841A priority Critical patent/DE102004061841B4/de
Publication of DE102004061841A1 publication Critical patent/DE102004061841A1/de
Application granted granted Critical
Publication of DE102004061841B4 publication Critical patent/DE102004061841B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

System zum markerlosen Tracking von Objekten, bestehend aus einem Mischsystem (600-1) zur gleichzeitigen Anzeige eines Videobildes und einem dreidimensionalen Datenmodell, einem Definitionssystem (600-2) zur Festlegung von Suchräumen im Videobild, einem Suchsystem (600-3) zur Suche von Features im Kamerabild, einem Zuordnungssystem (600-4) zur Zuordnung von Features im Kamerabild zu Features des Datenmodells sowie einem Positionsbestimmungssystem (600-5) zur Bestimmung der Position der Kamera, dadurch gekennzeichnet, dass der Suchraum für im Kamerabild befindliche Features durch den Benutzer durch Manipulation eines dreidimensionalen Datenmodells eingeschränkt wird.

Description

  • Aus dem Stand der Technik sind sogenannte Augmented Reality Systeme bekannt. Diese erlauben die Überlagerung von computergenerierten, virtuellen Informationen mit Seheindrücken der realen Umgebung. Hierzu werden die Seheindrücke der realen Welt, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen bzw. Objekte kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen etc. verwendet werden. Die reale Umgebung kann mit einer, beispielsweise auf dem Kopf des Anwenders getragenen, Kamera erfasst werden.
  • Dokumentierte Anwendungen der Technologie sehen einen Einsatz in der Produktion, im Service und in der Entwicklung komplexer Produkte vor. Auch ist der Einsatz der Technologie aus der Produktion von Flugzeugen bekannt. Nach der Druckschrift DE 198 32 974 A1 und DE 101 28 015 A1 ist der Einsatz von Augmented Reality Technologien in Produktionsumgebungen bekannt.
  • Zusätzlich sind aus dem Stand der Technik optische Positionserfassungssysteme bekannt, die die Position und oder Orientierung von Objekten in einem Vermessungsraum bestimmen. Diese sogenannten Tracking-Systeme erlauben beispielsweise die Erfassung von bis zu sechs Freiheitsgraden eines Objektes. Zum Einsatz kommen Systeme mit unterschiedlichsten physikalischen Wirkprinzipien. Gängig sind sogenannte optische Tracking-Systeme, die durch verschiedene Verfahren der computergestützten Bildverarbeitung die Position von im Vermessungsraum befindlichen Objekten und/oder die Position der Kamera über die Erkennung der Objekte bestimmen. Da die freie Suche nach Objekten mittels heute verfügbarer Rechenleistung nicht in ausreichender Geschwindigkeit möglich ist, werden vereinfachende Annahmen getroffen.
  • Eine Möglichkeit zur Vereinfachung der Komplexität, ist die Ausstattung des Trackingraums mit kontrastreichen, leicht zu erkennenden Markierungen, im Folgenden als Marker bezeichnet. Dieser Ansatz hat allerdings den Nachteil, dass der Trackingraum ausgestattet werden muss und das Tracking nur im ausgestatteten Bereich möglich ist. Optische Trackingverfahren mit dieser Methode werden allgemein als markerbasierte Trackingverfahren bezeichnet.
  • Eine andere Möglichkeit zur Vereinfachung der Komplexität ist der Einsatz von Modellen, zum Beispiel statistischen Bewegungsmodellen und/oder zusätzlichen Sensoren, zum Beispiel Beschleunigungssensoren, welche den Suchraum der Bildverarbeitungsalgorithmen einschränken. Obwohl dieser Ansatz die Komplexität vereinfacht, ohne dass eine Ausstattung des Raumes nötig ist, kann er nicht bei der Initialisierung behilflich sein. Initialisierung bedeutet in diesem Zusammenhang die Festlegung des inneren Zustands des Systems, so dass der Trackingvorgang erfolgreich und in ausreichend kurzer Zeit durchgeführt werden kann. Das System muss zuerst in einen gültigen Anfangszustand versetzt werden. Dieser Anfangszustand umfasst die ungefähre Position und Orientierung der Realität zur Kamera und vorteilhafterweise Angaben zur aktuellen Bewegung der Kamera.
  • Systeme, welche auf spezielle Markierungen (Marker) im Raum nicht angewiesen sind, sind aus folgenden Druckschriften bekannt und werden im Folgenden als markerlose Tracking-Systeme bezeichnet:
    (Behringer, R.; Park,J.; Sundareswaran, V.: Model-Based Visual Tracking for Outdoor Augmented Reality Applications. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 277 Genc, Y.; Riedel, S.; Souvannavong, F.; Akinlar, C.; Navab, N.: Marker-less Tracking for AR: A Learning-Based Approach. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 295 Kar Wee Chia, Adrian David Cheok, Simon J.D. Prince: Online 6 DOF Augmented Reality Registration from Natural Features. In: International Symposium on Mixed and Augmented Reality (ISMAR'02). Darmstadt 2002, S. 277).
  • Eingangsinformation des Systems ist ein zweidimensionales Feld von Rot-, Grün- und Blauintensitäten im Kamerabild. Zusätzlich können Beschleunigungsdaten von zusätzlichen Sensoren eingelesen werden. Ausgangsdaten des Systems sind die Position und Orientierung von einem oder mehreren Objekten relativ zur Kamera. Die Elemente der Realität können dann beispielsweise ein Koordinatensystem für Augmented Reality-Informationen aufspannen. Position und Orientierung können beispielhafterweise durch eine Transformationsmatrix beschrieben werden.
  • Zur Bestimmung der Transformationsmatrix sind unterschiedlichste Verfahren bekannt. Manche Verfahren erkennen Features, beispielsweise Kanten oder Ecken, von realen Objekten und gleichen diese mit vorher hinterlegten digitalen Modellen der Realität ab (z.B. CAD-Geometrien, z.B. Flächenmodelle mit Texturinformationen). Andere Verfahren beginnen mit einem sehr einfachen Startmodell zur Initialisierung und fügen nach dem Initialisierungsschritt dem Modell der Realität weitere, aus dem Kamerabild extrahierte, Informationen hinzu.
  • Die Bestimmung der Transformationsmatrix läuft nach der Initialisierung in folgenden prinzipiellen Schritten ab:
    • – Einfache oder mehrfache Annahme einer wahrscheinlichen Position und Orientierung vorteilhafterweise mittels eines Bewegungsmodells
    • – Einfache oder mehrfache Projektion des internen Modells in das Videobild
    • – Abgleich der Projektion mit dem Bild der Realität zum Beispiel über das Messen von Punktabständen
    • – Zuordnung von Punkten des Modells zu deren Referenz im Kamerabild
    • – Bestimmung der Transformationsmatrix zur Kamera und vorteilhafterweise Bestimmung einer statistischen Aussage zur Qualität der Transformationsmatrix
  • Nachteile
  • Nachteilig an den bekannten Verfahren der markerlosen Tracking-Systeme ist eine mangelnde Lösung zur Initialisierung zu Beginn des Trackingvorgangs und nach dem Verlust der Trackingobjekte, wenn also der Abgleich der Projektion mit dem Bild der Realität fehlschlägt oder eine vorteilhafterweise generierte Aussage zu Qualität diese als zu gering einstuft.
  • Vorhandene Verfahren benötigen eine umfangreiche Initialisierungprozedur durch einen erfahrenen Benutzer (z.B. durch das Anklicken von Punkten mit der Maus). Außerdem sind keine Verfahren bekannt, welche außerdem Beschleunigungs- und oder Bewegungszustände mitinitalisieren.
  • Aufgabe der Erfindung
  • Der Erfindung liegt die Aufgabe zu Grunde den Prozess zur Initialisierung markerlosen Tracking-Systems zu Vereinfachen und somit ein genaueres und schnelleres Tracking-System zu realisieren. Weitere Aufgaben ergeben sich aus der folgenden Beschreibung der Erfindung.
  • Beschreibung der Erfindung
  • Man unterscheidet zwischen einem Initialisierungsvorgang und einem Trackingvorgang.
  • Während des Initialisierungsvorgangs wird ein sogenannter Marker oder ein beliebiges Objekt der realen Umgebung, im Folgenden Initialisierungsobjekt, mit der Kamera in Beziehung gesetzt, beispielsweise durch Messung der Position und/oder der Orientierung des Markers oder des Initialisierungsobjekts. Dadurch kann ein Kamerabild der realen Umgebung zugeordnet werden. Die reale Umgebung kann eine komplexe Vorrichtung und das Initialisierungsobjekt kann ein markantes Element der Vorrichtung sein.
  • Während des folgenden Trackingvorgangs, das heißt der eigentliche Arbeitsvorgang, während beispielsweise ein Anwender des Systems kontextabhängige Information an einer gewünschten Position in Bezug zur realen Umgebung in einer verwendeten Anzeigeeinrichtung eingeblendet erhält, dient der Marker oder das Initialisierungsobjekt als Referenz, um die Position zu berechnen, an der die virtuelle Information an einem von der Kamera aufgenommenen Bild angezeigt oder eingeblendet werden soll. Da der Anwender seine Position und seine Orientierung zur Umgebung ändern kann, muss der Marker oder das Initialisierungsobjekt kontinuierlich nachverfolgt (Tracking) werden, um die virtuelle Information auch bei einer geänderten Position und/oder einer geänderten Orientierung des Anwenders an der korrekten Position in der Anzeigeeinrichtung anzuzeigen. Damit wird erreicht, dass die Information unabhängig von der Position und/oder der Orientierung des Anwenders in Bezug zur Realität in der Anzeigeeinrichtung angezeigt wird.
  • Wartet beispielsweise ein Anwender des Systems eine komplexe Vorrichtung, könnte das System ein Vorrichtungselement (Objekt) mit einem Rahmen (virtuelle Information) kennzeichnen, und zwar unabhängig von der aktuellen Position oder Orientierung des Anwenders, solange der Marker oder das Initialisierungsobjekt mit der Kamera erfasst werden kann.
  • Die Aufgabe der Erfindung wird erfindungsgemäß durch ein Verfahren zum Initialisieren eines Systems gelöst, wobei mit dem System Objekte einer realen Umgebung und virtuelle Information miteinander überlagert werden können, wobei mit einer Kamera ein Bild aufgenommen wird, welches ein Initialisierungsobjekt beinhaltet, das sich in der realen Umgebung befindet, das aufgenommene Bild und ein Datenmodell des Initialisierungsobjekts einem Anwender gemeinsam dargestellt werden, das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts überlagert werden und überlagert dargestellt werden, ein Suchbereich festgelegt wird, der das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts, wie überlagert, enthält, der Suchbereich nach mindestens einem Merkmal des Initialisierungsobjekts abgesucht wird und die Position, Orientie rung und/oder Größe des mindestens einen gefundenen Merkmals gespeichert wird.
  • Das System kann ein optoelektronisches System, beispielsweise ein Bildverarbeitungssystem oder ein sogenanntes Tracking-System, sein.
  • Die Kamera kann nicht-ortsfest sein, beispielsweise am Kopf eines Anwenders angeordnet sein. Es ist auch möglich, mit einer ortsfesten Kamera eine bewegte Umgebung oder ein bewegtes Objekt zu erfassen. Die Umgebung kann eine komplexe Vorrichtung zum Beispiel eine komplexe Maschine oder ein Schaltschrank sein. Das Initialisierungsobjekt kann ein besonders hervortretendes Element der komplexen Vorrichtung sein, beispielsweise ein gut sichtbares Maschinenelement oder ein Notausschalter des Schaltschranks.
  • Die Darstellung kann über eine halbdurchlässige Brille erfolgen, wobei der Anwender in die Umgebung blickt und auf die halbdurchlässige Brille das Datenmodell des Initialisierungsobjekts projiziert wird. In diesem Fall kann eine Kalibrierung zwischen den Augen des Anwenders, der Kamera und der halbdurchlässigen Datenbrille über die sogenannte SPAAM (single point active alignment method) erfolgen. Ebenso kann das Datenmodell des Initialisierungsobjekts auf die Netzhaut des Anwenders projiziert werden. Dabei nimmt der Anwender das Initialisierungsobjekt ohne zwischengeschaltete Bildaufnahme wahr. Ferner können das Initialisierungsobjekt und ein Datenmodell des Initialisierungsobjekts auf einem kopfgetragenem Bildschirmsystem dargestellt werden.
  • Das Datenmodell des Initialisierungsobjekts kann geometrische Information, beispielsweise Linien, Eckpunkte, Radien, etc., enthalten. Das Datenmodell des Initialisierungsobjekts kann durch Linien oder Eckpunkte angezeigt werden. Ferner kann das Datenmodell eine Repräsentation einer komplexen Geometrie, beispielsweise eines Rechtecks, eines Kreises, eines Zylinders, eines Quaders, eines Kegels, eines Prismas, etc., enthalten. Ferner kann das Datenmodell ein dreidimensionales Objektdatenmodell enthalten, z.B. CAD-Daten.
  • Das Überlagern kann durch Bewegen der Kamera, so dass sich das Initialisierungsobjekt an einer vorgegebenen Position im Bild befindet, oder durch Bewegen des Datenmodells erfolgen.
  • Bei der Festlegung des Suchbereichs können die Größe des Initialisierungsobjekts, die Größe des Datenmodels, eine Ungenauigkeit beim Überlagern des Datenmodells des Initialisierungsobjekts über das Initialisierungsobjekt, eine Größentoleranz und/oder eine Abweichung des Datenmodells vom Initialisierungsobjekt, die sich aus der noch unbekannten Position und Perspektive der Kamera ergeben, berücksichtigt werden. Ferner könne im Suchbereich Randbereiche berücksichtigt werden, die ein Bildverarbeitungsverfahren zum ordnungsgemäßen Absuchen des Suchbereichs benötigt.
  • Der Suchbereich kann nach dem mindestens einen Merkmal mit Hilfe von Bildverarbeitungsverfahren abgesucht werden. Dazu können beispielsweise geometrische Filter oder Kantenfilter verwendet werden. Mögliche Bildverarbeitungsverfahren sind dem Fachmann hinreichend bekannt und brauchen an dieser Stelle nicht weiter erläutert zu werden.
  • Die Position, Orientierung und/oder Größe bzw. Skalierung des mindestens einen gefundenen Merkmals wird gespeichert, da diese Information beim Tracking benötigt wird.
  • Das Verfahren kann das beim Absuchen gefundene mindestens eine Merkmal des Initialisierungsobjekts dem Datenmodell des Initialisierungsobjekts zuordnen. Das kann beispielsweise durch heuristische Verfahren erfolgen, wie sie dem Fachmann per se bekannt sind. Enthält das Datenmodell Kanten, können Kanten als Merkmale gesucht werden und nach ihrem Finden den entsprechenden Kanten des Datenmodells des Initialisierungsobjekts zugeordnet werden. Das Verfahren vergleicht somit das Datenmodell des Initialisierungsobjekts mit dem Bild des Initialisierungsobjekts.
  • Das Verfahren kann das dargestellte Datenmodell nach Größe und/oder Orientierung derart verändern, dass es mit dem von der Kamera aufgenommenen Bild des Initialisierungsobjekts im Wesentlichen übereinstimmt. Dieser Schritt kann vor oder nach dem Überlagern des Datenmodells über das aufgenommene Initialisierungsobjekt erfolgen. Ferner kann dieser Schritt nach Festlegen des Suchbereichs, während des Absuchens und während des Zuordnens erfolgen.
  • Bei dem Verfahren kann das Verändern der Größe und/oder Orientierung des Datenmodells durch Manipulation des Datenmodells durch den Anwender vor dem Festlegen des Suchbereichs erfolgen. Dies kann beispielsweise während des Überlagerns erfolgen.
  • Bei dem Verfahren kann das Verändern der Größe und/oder Orientierung des Datenmodells durch das System erfolgen. Das Verändern der Größe und/oder Orientierung des Datenmodells erfolgt vorzugsweise nach dem Festlegen des Suchbereichs. Es kann auch während des Absuchens oder während des Zuordnens erfolgen.
  • Das Verfahren kann ferner die Kameraposition nach dem Zuordnen des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts bestimmen.
  • Das Verfahren kann automatisch beendet werden, wenn eine hinreichend gute Zuordnung des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts erreicht wurde.
  • Die zuvor hergeleitete und aus dem Stand der Technik hervorgehende Aufgabe wird erfindungsgemäß auch durch ein System und Verfahren gelöst, bei dem der Lösungsraum für das Finden von Features im Videobild reduziert wird.
  • Das erfindungsgemäße Verfahren sieht die Verwendung eines digitalen, dreidimensionalen Datenmodells (200) von Objekten der realen Umgebung zur Identifikation von Features im Videobild der Kamera (400-2) vor (1). Das dreidimensionale Datenmodell (200) wird dabei dem Anwender (300), vorteilhafterweise mit einem kopfgetragenen Bildschirmsystem (Head Mounted Display) (400-1), angezeigt. Gleichzeitig wird die reale Umgebung des Anwenders, vorteilhafterweise in Form eines Videobildes der realen Umgebung, angezeigt. Der Anwender überlagert das dreidimensionale Datenmodell des Objektes mit der realen Umgebung, sodass, entsprechend der momentanen Blickrichtung des Anwenders, das Objekt der realen Umgebung (100) durch dessen digitales Datenmodell (200) überdeckt dargestellt wird.
  • Features des realen Objektes werden über bekannte Features des digitalen Datenmodells unter Zuhilfenahme von Algorithmen identifiziert. Dies ist in 1 beispielhaft für die Eckpunkte (P1, P2, P3) eines realen Würfels (100) dargestellt. Die Dimensionen des realen Würfels sind über dessen digitales Datenmodell (200) bekannt. Zusätzlich sind die Positionen der Eckpunkte des realen Würfels in Bezug auf ein ortsfestes Koordinatensystem bekannt. Mit dem erfindungsgemäßen Verfahren wird der Suchraum im Videobild der Kamera (400-2) in dem nach Features, im Beispiel nach Punkten, gesucht wird, auf die projizierten Punkte (P'1, P'2, P'3) und/oder deren unmittelbare Umgebung beschränkt. Die Identifikation der Punkte wird dadurch signifikant reduziert, da alle weiteren gefundenen Punkte im Videobild vernachlässigt werden.
  • Das erfindungsgemäße System ist in 2 dargestellt. Eingangsgrößen des Systems sind ein Videobild (400-3) der Kamera (400-2) sowie das digitale Datenmodell eines realen Objektes (200), das über das Datenhaltungssystem (800) zur Verfügung gestellt wird. Im Mischsystem (600-1) wird zunächst das Datenmodell (200) sowie das Videobild (400-3) dem Anwender (300) im Anzeigegerät (500), vorteilhafterweise in einem kopfgetragenen Bildschirmsystem (400-1), angezeigt. Das Mischsystem (600-1) übergibt das Videobild (400-3) und das Datenmodell (200) an ein Definitionssystem (600-2).
  • Durch Manipulation des Datenmodells (200) und/oder Interaktion mit dem Datenmodell erzeugt der Anwender (300) die Eingangsgröße (700) für das Definitionssystem (600-2). Das Definitionssystem (600-2) legt zweidimensionale Suchräume im Videobild (400-3) fest und übergibt deren Dimension und Lage dem Suchsystem (600-3). Das Suchsystem (600-3) sucht Features im Videobild und übergibt diese an das Zuordnungssystem (600-4). Dieses ordnet den im Videobild (400-3) gefundenen Features Features des Datenmodells (200) zu und übergibt die Koordinaten der im Videobild gefundenen Features dem Positionsbestimmungssystem (600-5). Eingangsinformation des Positionsbestimmungssystems sind zusätzlich die Koordinaten (900) des realen Objektes im ortsfesten Raumkoordinatensystem die über das Datenhaltungssystem (800) zur Verfügung gestellt werden. Das Positionsbestimmungssystems (600-5) berechnet auf Basis der Koordinaten der Features im Kamerabild sowie der Koordinaten der Features im ortsfesten Koordinatensystem (900) die Position der Kamera (400-2) in Form einer Transformationsmatrix (1000).
  • Ausgangsgröße des Positionsbestimmungssystems (600-5) bildet die Transformationsmatrix (1000) die von weiteren Systemen, z.B. Augmented Reality Systemen, verwendet werden kann.
  • Vorteile und Anwendungen des Systems und Verfahrens
  • Vorteile des beschriebenen Systems und Verfahrens zur markerlosen Positionsbestimmung bestehen in der Einschränkung des für das Feature-Finding notwendigen Suchraum. Features, die im Videobild gefunden werden, für die Positionsbestimmung im Sinne des Trackings aber irrelevant sind werden so von der rechenintensiven Bildverarbeitung ausgeschlossen. Dadurch steigt die Performanz sowie die Stabilität des Gesamtsystems erheblich.
  • Mögliche Anwendungen des Systems und Verfahrens schließen insbesondere Anwendungen der Augmented Reality Technologie in den Bereiche Service und Wartung, Produktion sowie weitere Anwendungen im mobilen Umfeld ein.
  • 100
    Reales Objekt
    200
    Dreidimensionales digitales Datenmodell des realen Objektes
    300
    Anwender
    400-1
    Kopfgetragenes Bildschirmsystem
    400.2
    Kamera
    400.3
    Videobild der Kamera
    500
    Anzeigegerät
    600.1
    Mischsystem
    600.2
    Definitionssystem
    600.3
    Suchsystem
    600.4
    Zuordnungssystem
    600.5
    Positionsbestimmungssystem
    700
    Benutzerinteraktion
    800
    Datenhaltungssystem
    900
    Ortsfeste Objektkoordinaten
    1000
    Transformationsmatrix

Claims (16)

  1. Verfahren zum Initialisieren eines Systems, wobei mit dem System Objekte einer realen Umgebung und virtuelle Information miteinander überlagert werden können, dadurch gekennzeichnet, dass mit einer Kamera ein Bild aufgenommen wird, welches ein Initialisierungsobjekt beinhaltet, das sich in der realen Umgebung befindet:; dass das aufgenommene Bild und ein Datenmodell des Initialisierungsobjekts einem Anwender gemeinsam dargestellt werden; dass das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts überlagert werden und überlagert dargestellt werden; dass ein Suchbereich festgelegt wird, der das aufgenommene Initialisierungsobjekt und das Datenmodell des Initialisierungsobjekts, wie überlagert, enthält; dass der Suchbereich nach mindestens einem Merkmal des Initialisierungsobjekts abgesucht wird; und dass die Position, Orientierung und/oder Größe des mindestens einen gefundenen Merkmals gespeichert wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das beim Absuchen gefundene mindestens eine Merkmal des Initialisierungsobjekts dem Datenmodell des Initialisierungsobjekts zugeordnet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das dargestellte Datenmodell nach Größe und/oder Orientierung derart verändert wird, dass es mit dem von der Kamera aufgenommenen Bild des Initialisierungsobjekts im Wesentlichen übereinstimmt.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Verändern der Größe und/oder Orientierung des Datenmodells durch Manipulation des Datenmodells durch den Anwender vor dem Festlegen des Suchbereichs erfolgt.
  5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Verändern der Größe und/oder Orientierung des Datenmodells durch das System erfolgt.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Datenmodell ein dreidimensionales Objektdatenmodell enthält.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren ferner die Kameraposition nach dem Zuordnen des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts bestimmt.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Verfahren automatisch beendet wird, wenn eine hinreichend gute Zuordnung des mindestens einen gefundenen Merkmals des Initialisierungsobjekts mit dem Datenmodell des Initialisierungsobjekts erreicht wurde.
  9. Verfahren zum markerlosen Tracking von Objekten, dadurch gekennzeichnet, dass der Suchraum für die Suche von Features im Kamerabild durch digitale Datenmodelle reduziert wird.
  10. System zum markerlosen Tracking von Objekten nach 1, bestehend aus einem Mischsystem (600-1) zur gleichzeitigen Anzeige eines Videobildes und einem dreidimensionalen Datenmodell, eines Definitionssystems (600-2) zur Festlegung von Suchräumen im Videobild, eines Suchsystems (600-3) zur Suche von Features im Kamerabild, eines Zuordnungssystems (600-4) zur Zuordnung von Features im Kamerabild zu Features des Datenmodells sowie eines Positionsbestimmungssystem (600-5) zur Bestimmung der Position der Kamera, dadurch gekennzeichnet, dass der Suchraum für im Kamerabild befindliche Features durch den Benutzer durch Manipulation eines dreidimensionalen Datenmodells eingeschränkt wird.
  11. System zum markerlosen Tracking, dadurch gekennzeichnet, dass ein digitales Datenmodell zur Zuordnung von Features im Videobild verwendet wird.
  12. System nach Anspruch 10, dadurch gekennzeichnet, dass der Austausch von Informationen zwischen den Subsystemen Misch-, Definitions-, Such-, Zuordnungs- und Positionsbestimmungssystem per drahtlloser Übertragungstechnik stattfindet.
  13. System dadurch gekennzeichnet, dass der Nutzer die Position, Skalierung und Orientierung des eingeblendeten digitalen Datenmodells interaktiv verändern kann, um sie seiner aktuellen Blickrichtung anzupassen und damit den Zustandsvektor des Trackingsystems anpasst.
  14. System dadurch gekennzeichnet, dass das eingeblendete digitale Datenmodell die vom Algorithmus verwendeten Messbereiche für den Nutzer besonders hervorhebt, um die Initalisierung zu vereinfachen.
  15. System dadurch gekennzeichnet, dass das System eigenständig erkennt, wann die Initialisierungsposition erreicht ist.
  16. Verfahren, dadurch gekennzeichnet, dass ein Bewegungsmodell durch die Feststellung der Bewegung des Benutzers zum Zeitpunkt der Initialisierungsposition durch Zusatzinformationen (vorteilhafterweise Optical Flow, oder Beschleunigungssensoren) ebenfalls initalisiert wird.
DE102004061841A 2003-12-22 2004-12-22 Markerloses Tracking System für Augmented Reality Anwendungen Expired - Fee Related DE102004061841B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004061841A DE102004061841B4 (de) 2003-12-22 2004-12-22 Markerloses Tracking System für Augmented Reality Anwendungen

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10360447.2 2003-12-22
DE10360447 2003-12-22
DE102004061841A DE102004061841B4 (de) 2003-12-22 2004-12-22 Markerloses Tracking System für Augmented Reality Anwendungen

Publications (2)

Publication Number Publication Date
DE102004061841A1 true DE102004061841A1 (de) 2005-07-14
DE102004061841B4 DE102004061841B4 (de) 2010-09-16

Family

ID=34673017

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004061841A Expired - Fee Related DE102004061841B4 (de) 2003-12-22 2004-12-22 Markerloses Tracking System für Augmented Reality Anwendungen

Country Status (1)

Country Link
DE (1) DE102004061841B4 (de)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004731A1 (de) * 2006-02-02 2007-08-09 Bayerische Motoren Werke Ag Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes
WO2008031369A1 (de) * 2006-09-15 2008-03-20 Siemens Aktiengesellschaft System und verfahren zur bestimmung der position und der orientierung eines anwenders
FR2911708A1 (fr) * 2007-01-22 2008-07-25 Total Immersion Sa Procede et dispositif de creation d'au moins deux images cles correspondant a un objet tridimensionnel.
CN102737534A (zh) * 2011-04-13 2012-10-17 南京大学 一种实现无标记增强现实钢琴教学系统的方法
DE102011122206A1 (de) 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
DE102012209664A1 (de) * 2012-06-08 2013-12-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum kalibrieren von trackingsystemen
DE102012014995A1 (de) * 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
DE102013207063A1 (de) * 2013-04-19 2014-10-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen einer Informationsquelle aus einer Mehrzahl von Informationsquellen zur Anzeige auf einer Anzeige einer Datenbrille
US20170006235A1 (en) * 2015-07-03 2017-01-05 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9823741B2 (en) 2013-04-19 2017-11-21 Bayerische Motoren Werke Aktiengesellschaft Method for selecting an information source for display on smart glasses
WO2018022252A1 (en) * 2016-07-27 2018-02-01 Google Inc. Low-power mode feature identification at a head mounted display

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19832974A1 (de) * 1998-07-22 2000-01-27 Siemens Ag Vorrichtung und Verfahren zur Erstellung eines virtuellen Anlagenmodells
DE10127396A1 (de) * 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004731A1 (de) * 2006-02-02 2007-08-09 Bayerische Motoren Werke Ag Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes
DE102006004731B4 (de) 2006-02-02 2019-05-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes
WO2008031369A1 (de) * 2006-09-15 2008-03-20 Siemens Aktiengesellschaft System und verfahren zur bestimmung der position und der orientierung eines anwenders
FR2911708A1 (fr) * 2007-01-22 2008-07-25 Total Immersion Sa Procede et dispositif de creation d'au moins deux images cles correspondant a un objet tridimensionnel.
WO2008107554A3 (fr) * 2007-01-22 2009-05-14 Total Immersion Procédé et dispositif de création d'au moins deux images clés correspondant à un objet tridimensionnel
US8614705B2 (en) 2007-01-22 2013-12-24 Total Immersion Method and device for creating at least two key frames corresponding to a three-dimensional object
CN102737534A (zh) * 2011-04-13 2012-10-17 南京大学 一种实现无标记增强现实钢琴教学系统的方法
DE102011122206A1 (de) 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
DE102012209664B4 (de) 2012-06-08 2017-03-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum kalibrieren von trackingsystemen
DE102012209664A1 (de) * 2012-06-08 2013-12-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum kalibrieren von trackingsystemen
DE102012014995A1 (de) * 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
DE102013207063A1 (de) * 2013-04-19 2014-10-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen einer Informationsquelle aus einer Mehrzahl von Informationsquellen zur Anzeige auf einer Anzeige einer Datenbrille
US9823741B2 (en) 2013-04-19 2017-11-21 Bayerische Motoren Werke Aktiengesellschaft Method for selecting an information source for display on smart glasses
US20170006235A1 (en) * 2015-07-03 2017-01-05 Lg Electronics Inc. Mobile terminal and method for controlling the same
CN106331797A (zh) * 2015-07-03 2017-01-11 Lg电子株式会社 移动终端及其控制方法
WO2018022252A1 (en) * 2016-07-27 2018-02-01 Google Inc. Low-power mode feature identification at a head mounted display
US10529135B2 (en) 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display

Also Published As

Publication number Publication date
DE102004061841B4 (de) 2010-09-16

Similar Documents

Publication Publication Date Title
EP1770607B1 (de) System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen
DE69807479T2 (de) Erzeugung eines Bildes eines dreidimensionalen Objekts
DE60225933T2 (de) Tragbare virtuelle realität
US5828779A (en) Method for constructing a color table in a computer unit for the classification of picture elements in an image
DE69331259T2 (de) Räumliche Mensch-Schnittstelle durch Bewegungserkennung mit dynamischer Bildverarbeitung
DE60133386T2 (de) Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
DE60205662T2 (de) Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
DE102014006732B4 (de) Bildüberlagerung von virtuellen Objekten in ein Kamerabild
WO2019201652A1 (de) Verfahren zur benutzung einer mehrgliedrigen aktuierten kinematik, vorzugsweise eines roboters, besonders vorzugsweise eines knickarmroboters, durch einen benutzer mittels einer mobilen anzeigevorrichtung
EP2977961B1 (de) Verfahren und Kommunikationseinrichtung zum Erstellen und/oder Ändern virtueller Objekte
DE102007023640A1 (de) Virtueller Arbeitsplatz
DE19955690A1 (de) System und Verfahren zur auf einer Volumendarstellung basierenden Segmentation
DE102016212236A1 (de) Interaktionssystem und -verfahren
DE102004016331B4 (de) Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen
DE102004061841B4 (de) Markerloses Tracking System für Augmented Reality Anwendungen
DE69623385T2 (de) Interaktive Bilderzeugungsmethode und Gerät
DE69725953T2 (de) Bildanzeigeverfahren und -gerät
DE19906995A1 (de) Erzeugen von Anpaßdaten für einen virtuellen Szenenaufbau
DE112019006107B4 (de) Authoring-Vorrichtung, Authoring-Verfahren und Authoring-Programm
WO2020126240A1 (de) Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
DE102007057208A1 (de) Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
DE102015115394A1 (de) Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät
DE10215885A1 (de) Automatische Prozesskontrolle
DE102006004731B4 (de) Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes
WO2013164208A1 (de) Verfahren zur ausführung beim betreiben eines mikroskops und mikroskop

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8127 New person/name/address of the applicant

Owner name: METAIO GMBH, 85748 GARCHING, DE

8364 No opposition during term of opposition
R082 Change of representative

Representative=s name: SCHMITT-NILSON SCHRAUD WAIBEL WOHLFROM PATENTA, DE

Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE

R081 Change of applicant/patentee

Owner name: APPLE INC., CUPERTINO, US

Free format text: FORMER OWNER: METAIO GMBH, 85748 GARCHING, DE

R082 Change of representative

Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee