DE102015100911B4

DE102015100911B4 - Verbesserte Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen mittels erweiterter und virtueller Realität

Info

Publication number: DE102015100911B4
Application number: DE102015100911.0A
Authority: DE
Inventors: Tamar Baruza; Yair Wiener; Ori Modai; Azaria Cohen
Original assignee: Avaya Inc
Current assignee: Avaya Inc
Priority date: 2014-01-24
Filing date: 2015-01-22
Publication date: 2019-04-18
Anticipated expiration: 2035-01-23
Also published as: DE102015100926B4; US9524588B2; US9959676B2; US10013805B2; KR101665229B1; KR20150099402A; US20150215351A1; US20150213650A1; US20150215581A1; KR101734635B1; KR101656172B1; DE102015100911A1; KR20150099401A; DE102015100930A1; DE102015100930B4; KR20150099403A; DE102015100926A1

Abstract

Nicht transientes computerlesbares Speichermedium mit darauf gespeicherten Befehlen, das, wenn es von einer Verarbeitungsschaltung eines Konferenzsystems ausgeführt wird, das Konferenzsystem dazu anweist, ein Verfahren zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen durchzuführen, wobei das Verfahren Folgendes umfasst:Empfangen eines ersten Videos, während einer Konferenzsitzung, das von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die von einem physischen Besprechungsort entfernt ist, aufgenommen wurde;Identifizieren einer oder mehrerer verfügbarer physischer Teilnehmerpositionen am Besprechungsort, wobei jede eine Position umfasst, an der sich der erste Teilnehmer physisch befinden könnte, wenn sich der physische Teilnehmer am Besprechungsort befände;Bestimmen einer ersten Position für den ersten Teilnehmer/die erste Teilnehmerin aus der einen oder den mehreren verfügbarer physischer Teilnehmerpositionen am physischen Besprechungsort;Bestimmen einer Ansicht einer am Kopf angebrachten Augmented-Reality(AR)-Anzeige, die von einem zweiten Teilnehmer/einer zweiten Teilnehmerin am physischen Besprechungsort getragen wird;Generieren, aus dem ersten Video, eines AR-Videos, das den ersten Teilnehmer/die erste Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin erscheinen lässt, als ob der erste Teilnehmer/die erste Teilnehmerin sich physisch an der ersten Position befände, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird; undÜbertragen des AR-Videos an die am Kopf angebrachte AR-Anzeige zur Präsentation gegenüber dem zweiten Teilnehmer/der zweiten Teilnehmerin.

Description

STAND DER TECHNIK
Konferenzschaltungssysteme ermöglichen seit langem Audiokommunikationen zwischen Teilnehmern/Teilnehmerinnen an unterschiedlichen Orten. Neuerdings erlauben einige Konferenzsysteme Echtzeitvideokommunikationen zwischen Teilnehmern/Teilnehmerinnen. Mithin kann ein Teilnehmer/eine Teilnehmerin an einem Ort Live-Videos und -Tonteile von anderen sprechenden Teilnehmern/Teilnehmerinnen ansehen, obgleich diese anderen Teilnehmer/Teilnehmerinnen möglicherweise sehr weit weg sind. Die Fähigkeit, die anderen Teilnehmer/Teilnehmerinnen anzusehen, gewährleistet eine produktivere Konferenz, denn die Teilnehmer/Teilnehmerinnen können gegenseitig ihre Gesichtsausdrücke, ihre Gesten oder andere visuelle Informationen ansehen, die während eines Audioanrufs nicht gesehen werden können.
Wenngleich Videokonferenzen die Erfahrung von entfernt befindlichen Teilnehmern/Teilnehmerinnen sicherlich verbessert haben, können Videokonferenzen entfernten Teilnehmern/Teilnehmerinnen bisher noch nicht das Gefühl vermitteln, sie befänden sich alle im selben Raum. Das heißt, wenn Teilnehmer/Teilnehmerinnen in einem Konferenzraum sitzen und andere Teilnehmer/Teilnehmerinnen auf einem Anzeigebildschirm beobachten, wird dadurch nicht hinlänglich simuliert, dass sich diese anderen Teilnehmer/Teilnehmerinnen innerhalb des Konferenzraums befinden. Jedoch sind nun Virtual-Reality-Headsets erhältlich, die eine visuelle Immersion von Benutzern/Benutzerinnen in visuelle Erfahrungen, etwa Videospiele, bewirken. Ähnlich können Augmented-Reality-Headsets einem Benutzer/einer Benutzerin Informationen anzeigen, während dieser Benutzer/diese Benutzerin das Geschehen um sich herum weiter ansehen kann.
Aus der US 2004 / 0 104 935 A1 ist ein nicht transientes computerlesbares Speichermedium mit darauf gespeicherten Befehlen bekannt, das, wenn es von einem Konferenzsystem („conferencing“) ausgeführt wird, das Konferenzsystem dazu anweist, zum Zweck einer verbesserten visuellen Kommunikation zwischen entfernten Teilnehmern ein AR -Video zu erzeugen, das einen ersten Teilnehmer für einen zweiten Teilnehmer an einer ersten Position erscheinen lässt, wenn es durch die am Kopf angebrachte AR -Anzeige angesehen wird, wobei das AR -Video an die am Kopf angebrachte AR -Anzeige zur Präsentation gegenüber dem zweiten Teilnehmer übertragen wird.
Weitere derartige Konzepte sind aus den Druckschriften US 6,545,700 , US 2012 / 0 249 591 A1 und US 2003 / 0 067 536 A1 bekannt.
Der Erfindung liegt nunmehr die Aufgabe zugrunde, ein nicht transientes computerlesbares Speichermedium mit darauf gespeicherten Befehlen sowie ein Konferenzsystem mit einem solchen Speichermedium anzugeben, das eine verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen ermöglicht.
Diese Aufgabe wird erfindungsgemäß für das Speichermedium mit den Merkmalen des Anspruchs 1 und für das Konferenzsystem mit den Merkmalen des Anspruchs 7 gelöst.
ÜBERBLICK
Hierin offenbarte Ausführungsformen sehen Verfahren, Systeme und computerlesbare Speichermedien zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen vor. In einer konkreten Ausführungsform sieht ein Verfahren vor, dass während einer Konferenzsitzung ein erstes Video empfangen wird, das von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die von einem physischen Besprechungsort entfernt ist, aufgenommen wurde. Das Verfahren sieht weiter vor, dass eine erste Position für den ersten Teilnehmer/die erste Teilnehmerin am physischen Besprechungsort bestimmt wird und dass eine Ansicht einer am Kopf angebrachten Augmented-Reality(AR)-Anzeige, die von einem zweiten Teilnehmer/einer zweiten Teilnehmerin getragen wird, am physischen Besprechungsort bestimmt wird. Das Verfahren sieht vor, dass aus dem ersten Video ein AR-Video generiert wird, das den ersten Teilnehmer/die erste Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin an der ersten Position erscheinen lässt, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird. Das Verfahren beinhaltet auch, dass das AR-Video an die am Kopf angebrachte AR-Anzeige zur Präsentation gegenüber dem zweiten Teilnehmer/der zweiten Teilnehmerin übertragen wird.
In einigen Ausführungsformen umfasst das Verfahren weiter, dass ein zweites Video, das vom physischen Besprechungsort aufgenommen wurde, empfangen wird, dass eine zweite Position am physischen Besprechungsort für einen dritten Teilnehmer/eine dritte Teilnehmerin, der/die vom physischen Besprechungsort entfernt ist, bestimmt wird und dass aus dem ersten Video und dem zweiten Video ein Virtual-Reality(VR)-Video, das den physischen oder den virtuellen Besprechungsraum mit dem ersten Teilnehmer/der ersten Teilnehmerin an der ersten Position von einem Ansichtspunkt der zweiten Position präsentiert aus, generiert wird. Das Verfahren beinhaltet weiter, dass das VR-Video an eine am Kopf angebrachte VR-Anzeige, die von dem dritten Teilnehmer/der dritten Teilnehmerin getragen wird, zur Präsentation gegenüber dem dritten Teilnehmer/der dritten Teilnehmerin übertragen wird.
In einigen Ausführungsformen bringt das Generieren des AR-Videos weiter mit sich, dass eine Darstellung des dritten Teilnehmers/der dritten Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin an der zweiten Position erscheint, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird.
In einigen Ausführungsformen umfasst das Verfahren weiter, dass ein erster Tonteil, der von dem ersten Teilnehmer/der ersten Teilnehmerin zusammen mit dem ersten Video aufgenommen wurde, empfangen wird und dass der erste Tonteil an ein Audiogerät am physischen Besprechungsort übertragen wird, wobei das Audiogerät den ersten Tonteil so präsentiert, dass der zweite Teilnehmer/die zweite Teilnehmerin den Tonteil als im Wesentlichen von der ersten Position kommend hört.
In einigen Ausführungsformen umfasst das Bestimmen der Ansicht der am Kopf angebrachten AR-Anzeige, dass Ausrichtungsinformationen von der am Kopf angebrachten AR-Anzeige empfangen werden, dass Positionsinformationen zu dem zweiten Teilnehmer/der zweiten Teilnehmerin von Quellen, die von außerhalb der am Kopf angebrachten AR-Anzeigekommen, empfangen werden und dass die Ansicht der am Kopf angebrachten AR-Anzeige basierend auf den Ausrichtungsinformationen und den Positionsinformationen identifiziert wird.
In einigen Ausführungsformen beinhaltet das Bestimmen der Ansicht der am Kopf angebrachten AR-Anzeige, dass nachfolgende Ausrichtungsinformationen und nachfolgende Positionsinformationen empfangen werden und dass die Ansicht der am Kopf angebrachten AR-Anzeige basierend auf den nachfolgenden Ausrichtungsinformationen und den nachfolgenden Positionsinformationen aktualisiert wird.
In einigen Ausführungsformen beinhaltet das Verfahren weiter, dass die Konferenzsitzung aus mindestens einer der Ansichten der am Kopf angebrachten AR-Anzeige und einer anderen Ansicht des physischen Besprechungsorts aufgezeichnet wird.
In einigen Ausführungsformen beinhaltet das Verfahren, dass die Aufzeichnung in ein Format, das auf einer nicht am Kopf angebrachten Anzeige anzeigbar ist, umgewandelt wird.
In einigen Ausführungsformen umfasst das Generieren des AR-Videos weiter, dass zusätzliche visuelle Informationen, die mit der Konferenzsitzung assoziiert sind, eingeblendet werden, sodass die zusätzlichen visuellen Informationen für den zweiten Teilnehmer/die zweite Teilnehmerin an einer Position innerhalb des physischen Besprechungsorts erscheinen, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird.
In einer anderen Ausführungsform ist ein Konferenzsystem vorgesehen, das eine Kommunikationsschnittstelle und eine Verarbeitungsschaltung umfasst. Die Kommunikationsschnittstelle ist konfiguriert, um während einer Konferenzsitzung ein erstes Video zu empfangen, das von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die von einem physischen Besprechungsort entfernt ist, aufgenommen wurde. Die Verarbeitungsschaltung ist konfiguriert, um eine erste Position für den ersten Teilnehmer/die erste Teilnehmerin am physischen Besprechungsort zu bestimmen, eine Ansicht einer am Kopf angebrachten Augmented-Reality(AR)-Anzeige, die von einem zweiten Teilnehmer/einer zweiten Teilnehmerin getragen wird, am physischen Besprechungsort zu bestimmen und aus dem ersten Video ein AR-Video zu generieren, das den ersten Teilnehmer/die erste Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin an der ersten Position erscheinen lässt, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird. Die Kommunikationsschnittstelle ist konfiguriert, um das AR-Video an die am Kopf angebrachte AR-Anzeige zur Präsentation gegenüber dem zweiten Teilnehmer/der zweiten Teilnehmerin zu übertragen.
Figurenliste

1 veranschaulicht eine Konferenzumgebung zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
2 veranschaulicht ein Betriebsszenario einer Konferenzumgebung zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
3 veranschaulicht ein Verfahren zum Betreiben eines Konferenzsystems zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
4 veranschaulicht eine Konferenzumgebung zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
5 veranschaulicht ein Betriebsszenario einer Konferenzumgebung zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
6 veranschaulicht ein Verfahren zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen beim Betriebsszenario.
7 veranschaulicht ein Verfahren zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.
8 veranschaulicht beispielhafte Raumausrichtungen, wenn verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen ermöglicht wird.
9 veranschaulicht beispielhafte Raumausrichtungen, wenn verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen ermöglicht wird.
10 veranschaulicht ein Konferenzsystem zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung und die assoziierten Figuren lehren die beste Ausführungsform der Erfindung. Zum Zweck des Lehrens der Erfindungsprinzipien werden einige herkömmliche Aspekte der besten Ausführungsform möglicherweise vereinfacht oder weggelassen. Die folgenden Ansprüche legen den Schutzbereich der Erfindung fest. Es ist zu beachten, dass einige Aspekte der besten Ausführungsform möglicherweise nicht in den Schutzbereich der Erfindung, wie von den Ansprüchen festgelegt, fallen. Mithin erkennt der Fachmann Varianten der besten Ausführungsform, die in den Schutzbereich der Erfindung fallen. Der Fachmann erkennt, dass die unten beschriebenen Merkmale auf verschiedene Weisen kombiniert werden können, um mehrere Varianten der Erfindung zu bilden. Folglich wird die Erfindung nicht auf die unten beschriebenen speziellen Beispiele, sondern nur von den Ansprüchen und ihren Äquivalenten begrenzt.
1 veranschaulicht eine Konferenzumgebung 100. Die Konferenzumgebung 100 beinhaltet ein Konferenzsystem 101, ein Teilnehmeraufnahmesystem 102 und eine am Kopf angebrachte Augmented-Reality(AR)-Anzeige (Head Mounted Display, HMD) 103. Das Konferenzsystem 101 und das Teilnehmeraufnahmesystem 102 kommunizieren über eine Kommunikationsverbindung 112. Das Konferenzsystem 101 und die AR-HMD 103 kommunizieren über eine Kommunikationsverbindung 111.
Im Betrieb ist das Konferenzsystem 101 konfiguriert, um Konferenzteilnehmern/Konferenzteilnehmerinnen an unterschiedlichen Orten eine Konferenzerfahrung derart zu vermitteln, als seien die Teilnehmer/Teilnehmerinnen am selben Ort. Hierzu nutzt das Konferenzsystem 101 AR, dank der ein Teilnehmer/eine Teilnehmerin die Welt um sich herum sehen kann, während es zusätzliche Informationen einblendet. In einigen AR-Geräten, etwa einem Smartphone, nimmt das Gerät Videobilder auf und zeigt diese Bilder auf einem Bildschirm so ähnlich an, wie wenn der Bildschirm als Sucher für eine Kamera genutzt wird. AR-Informationen werden auf den angezeigten Bildschirmbildern im Verhältnis zu dem eingeblendet, was im Bild angezeigt wird. Zum Beispiel werden Informationen zu einem Geschäft mit einer Schaufensterfront, die im Bild aufgenommen wurde, auf dem Bildschirm möglicherweise neben der Schaufensterfront angezeigt. Bei einem anderen Beispiel verfügt eine Person in der AR-Ansicht möglicherweise über Informationen, die in der Nähe der Person angezeigt werden, etwa visitenkartenartige Informationen, sodass sie einfacher referenziert werden kann. Alternativ werden die AR-Informationen möglicherweise auf einem durchsichtigen Medium angezeigt, etwa transparenten Linsen, aufgrund deren sich das Anzeigen der Bilder erübrigt, die durch die Linsen gesehen werden können.
Für die Zwecke des Ermöglichens einer Konferenz nutzt das Konferenzsystem 101 AR-Videos, um aufgenommene Videos von Konferenzteilnehmern/Konferenzteilnehmerinnen einzublenden, die sich nicht an demselben Ort befinden wie der Teilnehmer/die Teilnehmerin, der/die das AR-Video ansieht. Zum Beispiel ist ein Teilnehmer/eine Teilnehmerin 123 in einem Besprechungsraum, während ein Teilnehmer/eine Teilnehmerin 122 nicht dort ist. Der Teilnehmer/die Teilnehmerin 122 kann in einem Raum auf demselben Korridor wie der Besprechungsraum sein oder auf der anderen Seite der Welt. Ungeachtet dessen, wo sich der Teilnehmer/die Teilnehmerin 122 befindet, erlaubt die AR-HMD 103, die von dem Teilnehmer/der Teilnehmerin 123 getragen wird, zusammen mit dem Konferenzsystem 101 und dem Aufnahmesystem 102 dem Teilnehmer/der Teilnehmerin 123 das Ansehen des Teilnehmers/der Teilnehmerin 122 an einer Position im Besprechungsraum. Daher kann der Teilnehmer/die Teilnehmerin 123, statt dass er/sie lediglich ein von dem Teilnehmer/der Teilnehmerin 122 aufgenommenes Video auf einer Anzeige ansieht, den Teilnehmer/die Teilnehmerin 122 im Besprechungsraum „sehen“, wodurch die Erfahrung emuliert wird, dass sich der Teilnehmer/die Teilnehmerin 122 wirklich im Raum befindet.
2 veranschaulicht einen Betrieb 200 der Konferenzumgebung 100, um verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen zu ermöglichen. Beim Betrieb 200 werden vom Aufnahmesystem 102 bei Schritt 1 Videobilder von dem Teilnehmer/der Teilnehmerin 122 aufgenommen. Die Videobilder können, abhängig von den Fähigkeiten des Aufnahmesystems 102, der HMD 103, des Konferenzsystems 101 oder anderweitig, in zwei oder drei Dimensionen aufgenommen werden. Nach der Aufnahme wird ein Video von den aufgenommenen Videobildern in Echtzeit an das Konferenzsystem 101 übertragen (Schritt 2). Das Video kann in einem beliebigen Format, das vom Aufnahmesystem 102 und vom Konferenzsystem 101 unterstützt wird, übertragen werden. Das Video kann abhängig davon, wie weit das Aufnahmesystem 102 vom Konferenzsystem 101 entfernt ist, über ein oder mehrere verschiedene Kabel- oder Drahtlosnetze (Local Area, Wide Area, das Internet, zellulares Datennetz und dergleichen) oder direkte Verbindungen übertragen werden.
Bei Schritt 3 bestimmt das Konferenzsystem 101 eine Position für die AR-Darstellung des Teilnehmers/der Teilnehmerin 122 am Besprechungsort, an dem sich der Teilnehmer/die Teilnehmerin 123 befindet. Schritt 4 lässt sich zu einer beliebigen Zeit durchführen, bevor die Darstellung des Teilnehmers/der Teilnehmerin 122 dem Teilnehmer/der Teilnehmerin 123 auf der HMD 103 präsentiert wird, und muss nicht zwingend nach den Schritten 1 und 2 durchgeführt werden. Das Konferenzsystem 101 kann die Position basierend auf Informationen bestimmen, die von der HMD 103, anderen Geräten oder Sensoren am Besprechungsort, von dem Teilnehmer/der Teilnehmerin 123, von einem Besprechungsadministrator/einer Besprechungsadministratorin oder einer beliebigen anderen Quelle potenzieller Positionsinformationen her empfangen werden. Mittels der ihm zur Verfügung stehenden Informationen bestimmt das Konferenzsystem 101 deshalb eine Position innerhalb des Besprechungsorts, an dem sich der Teilnehmer/die Teilnehmerin 122 physisch befinden könnte, falls der Teilnehmer/die Teilnehmerin 122 am Besprechungsort wäre.
Falls der Besprechungsort zum Beispiel einen Konferenztisch beinhaltet, kann das Konferenzsystem 101 bestimmen, dass die Position des Teilnehmers/der Teilnehmerin 122 ein leerer Sitzplatz am Konferenztisch ist. Das Vorhandensein des leeren Sitzplatzes ist bestimmbar basierend auf einem von der HMD 103 her aufgenommenen Video (z. B. Analysieren des Videos, um die Anwesenheit einer Person an jeder Position zu bestimmen), basierend auf Informationen, die von einem Teilnehmer/einer Teilnehmerin oder einem Administrator/einer Administratorin manuell eingegeben wurden, wenn das System für eine Konferenzsitzung eingesetzt wird (z. B. manuelle Abbildung des Besprechungsraums für Standorte von Teilnehmern/Teilnehmerinnen, Stühlen etc.), basierend auf Drucksensoren in Stühlen am Tisch oder durch beliebige andere Mittel.
Das Konferenzsystem 101 bestimmt weiter eine Ansicht des Teilnehmers/der Teilnehmerin 123 bei Schritt 4. Die Ansicht des Teilnehmers/der Teilnehmerin 123 muss bestimmt werden, um zu bestimmen, wo die Position des Teilnehmers/der Teilnehmerin 122 relativ zur Ansicht des Teilnehmers/der Teilnehmerin 123 ist. Die Ansicht lässt sich bestimmen, indem ein von der HMD 103 her aufgenommenes Video, ein von dem Teilnehmer/der Teilnehmerin 123 am Besprechungsort aufgenommenes Video, Ausrichtungssensoren der HMD 103 (z. B. Beschleunigungsmesser, Kompass, Gyroskope etc.) oder beliebige andere Informationen, die zum Bestimmen der Ansicht eines Teilnehmers/einer Teilnehmerin genutzt werden können, analysiert werden.
Sobald die Position des Teilnehmers/der Teilnehmerin 122 und die Ansicht des Teilnehmers/der Teilnehmerin 123 bestimmt sind, kann das Konferenzsystem 101 bei Schritt 5 ein AR-Video generieren, das dem Teilnehmer/der Teilnehmerin 123 auf der HMD 103 angezeigt wird. Das AR-Video kann abhängig von den Fähigkeiten der HMD 103 und davon, wie der Teilnehmer/die Teilnehmerin 122 aufgenommen wurde, entweder in 2D oder in 3D generiert werden. Um das AR-Video zu generieren, kann das Konferenzsystem 101 eventuelle Hintergrundbilder im von dem Teilnehmer/der Teilnehmerin 122 aufgenommenen Video entfernen, sodass nur der Teilnehmer/die Teilnehmerin 122 und Dinge, die der Teilnehmer/die Teilnehmerin 122 gerade hält, nutzt oder die für die Konferenzsitzung anderweitig nützlich sind, übrig bleiben. Das Konferenzsystem 101 kann das Videobild von dem Teilnehmer/der Teilnehmerin 122 bearbeiten, damit es aus der Ansicht des Teilnehmers/der Teilnehmerin 123 durch die HMD 103 so aussieht, als sei der Teilnehmer/die Teilnehmerin 122 an der bei Schritt 3 bestimmten Position. Zum Beispiel lässt sich das Bild von dem Teilnehmer/der Teilnehmerin 122 im AR-Video verkleinern, falls die Position in der Ansicht des Teilnehmers/der Teilnehmerin 123 weiter weg ist. Ferner lässt sich das Bild des Teilnehmers/der Teilnehmerin 122 basierend auf dem Winkel drehen, in dem der Teilnehmer/die Teilnehmerin 122 aus der Ansicht des Teilnehmers/der Teilnehmerin 123 angesehen wird. Das heißt, die Position des Teilnehmers/der Teilnehmerin 122 am Besprechungsort kann bedeuten, dass die Seite des Teilnehmers/der Teilnehmerin 122 der Ansicht des Teilnehmers/der Teilnehmerin 123 zugewandt ist. Abhängig davon, ob das Video von dem Teilnehmer/der Teilnehmerin 122 von der Seite aufgenommen wurde, muss das Konferenzsystem 101 möglicherweise schätzen, wie der Teilnehmer/die Teilnehmerin 122 von der Seite aussieht, wenn es den Teilnehmer/die Teilnehmerin 122 dem Teilnehmer/der Teilnehmerin 123 präsentiert. Alternativ kann das Konferenzsystem 101 möglicherweise einfach weiterhin die Vorderseite des Teilnehmers/der Teilnehmerin 122 präsentieren, obgleich der Teilnehmer/die Teilnehmerin 123 den Teilnehmer/die Teilnehmerin 122 möglicherweise nicht so ansähe, falls der Teilnehmer/die Teilnehmerin 122 an dem Ort anwesend wäre. Darüber hinaus muss das Konferenzsystem 101 möglicherweise Okklusionen wie andere Personen, Pflanzen oder andere Objekte in der Ansicht von dem Teilnehmer/der Teilnehmerin 123 hin zu dem Teilnehmer/der Teilnehmerin 122 berücksichtigen.
Nachdem das Konferenzsystem 101 das AR-Video generiert hat, wird das AR-Video bei Schritt 6 an die HMD 103 übertragen. Das AR-Video kann abhängig davon, wie weit das Aufnahmesystem 102 vom Konferenzsystem 101 entfernt ist, über ein oder mehrere verschiedene Kabel- oder Drahtlosnetze (Local Area, Wide Area, das Internet, zellulares Datennetz und dergleichen) oder direkte Verbindungen übertragen werden. Bei einigen Beispielen befindet sich das Konferenzsystem 101 möglicherweise am Besprechungsort. Nach dem Empfangen des AR-Videos zeigt die HMD 103 das AR-Video dem Teilnehmer/der Teilnehmerin 123. Falls die HMD 103 transparente Linsen nutzt, umfasst das AR-Video ein Video von dem Teilnehmer/der Teilnehmerin 122 an der bestimmten Position im Besprechungsraum, wie auf den transparenten Linsen angezeigt. Falls die HMD 103 alternativ eine nicht transparente Anzeige umfasst, die vom Ansichtspunkt des Teilnehmers/der Teilnehmerin 123 aus aufgenommene Videos anzeigt (z. B. „Sucher“), wird das AR-Video auf dieses aufgenommene Video eingeblendet, wenn es dem Teilnehmer/der Teilnehmerin 123 wieder angezeigt wird.
Die Schritte 1-2 und 4-7 erfolgen fortlaufend während einer Besprechung, um den Teilnehmer/die Teilnehmerin 122 dem Teilnehmer/der Teilnehmerin 123 nach bestem Bemühen so zu präsentieren, dass emuliert wird, dass der Teilnehmer/die Teilnehmerin 122 am selben Besprechungsort anwesend ist wie der Teilnehmer/die Teilnehmerin 123. Schritt 3 erfolgt möglicherweise nur einmal, es sei denn, das Konferenzsystem 101 bestimmt, dass der Teilnehmer/die Teilnehmerin 122 während der Besprechung andere Positionen einnimmt. Wenn der Teilnehmer/die Teilnehmerin 123 seine/ihre Ausrichtung zur HMD 103 ändert (z. B. seinen/ihren Kopf dreht, andere Positionen am Besprechungsort einnimmt etc.), werden diese Ausrichtungsänderungen bei den Schritten 4 und 5 berücksichtigt, um ein AR-Video zu generieren, das den Teilnehmer/die Teilnehmerin 122 trotzdem an der bestimmten Position anzeigt. Dies bedeutet in einigen Fällen auch, dass, falls der Teilnehmer/die Teilnehmerin 123 die Position des Teilnehmers/der Teilnehmerin 122 gerade nicht ansieht, der Teilnehmer/die Teilnehmerin 122 im AR-Video nicht gezeigt wird. Desgleichen, falls die Position des Teilnehmers/der Teilnehmerin 122 nur teilweise sichtbar ist, zeigt das AR-Video den Teilnehmer/die Teilnehmerin 122 demgemäß nur zum Teil.
In einigen Konfigurationen lassen sich Tonwiedergabegeräte am Besprechungsort nutzen, um die Ausgangsposition eines zusammen mit dem Video von dem Teilnehmer/der Teilnehmerin 122 durch das Aufnahmesystem 102 aufgenommenen Tonteils zu emulieren. Das heißt, das Konferenzsystem 101 wird ein Audiogerät auswählen, welches den aufgenommenen Tonteil abspielen und den Anschein erwecken kann, dass der Tonteil von der bestimmten Position des Teilnehmers/der Teilnehmerin 122 am Besprechungsort kommt. Daher lässt die AR-HMD 103 es gegenüber dem Teilnehmer/der Teilnehmerin 123 nicht nur so aussehen, als ob sich der Teilnehmer/die Teilnehmerin 122 an einem konkreten Ort befände, sondern das Audiogerät lässt es auch so klingen, als ob der Teilnehmer/die Teilnehmerin 122 von diesem Ort ausspräche. Bei einigen Beispielen befindet sich das Audiogerät nahe bei der bestimmten Position des Teilnehmers/der Teilnehmerin 122, während bei anderen Beispielen Audiogeräte, die nicht nahe bei den bestimmten Positionen sind, etwa in die HMD 103 eingebaute Geräte, genutzt werden, um den von der Position des Teilnehmers/der Teilnehmerin 122 kommenden Tonteil in der für sie bestmöglichen Weise zu simulieren.
In einigen Ausführungsformen nimmt ein anderes Aufnahmesystem den Teilnehmer/die Teilnehmerin 123 auf und der Teilnehmer/die Teilnehmerin 123 wird dem Teilnehmer/der Teilnehmerin 122 unter Widerspiegelung des Betriebs 200 durch eine von dem Teilnehmer/der Teilnehmerin 122 getragene AR-HMD präsentiert. Demgemäß kann das Konferenzsystem 101 den Teilnehmer/die Teilnehmerin 122 am Besprechungsort mit dem Teilnehmer/der Teilnehmerin 123 emulieren und den Teilnehmer/die Teilnehmerin 123 am Ort des Teilnehmers/der Teilnehmerin 122 emulieren. Des Weiteren können sich an jedem Ort (oder zusätzlichen Orten, die nicht erwähnt werden) zusätzliche Teilnehmer/Teilnehmerinnen befinden und diese zusätzlichen Teilnehmer/Teilnehmerinnen werden weiter auf den AR-HMDs anderer Teilnehmer/Teilnehmerinnen emuliert, die sich nicht am selben Ort befinden.
In weiteren Ausführungsformen kann das Konferenzsystem 101 konfiguriert sein, um die Besprechung zwischen Teilnehmern/Teilnehmerinnen in einem Speichersystem aufzuzeichnen, damit die Besprechung zu einem späteren Zeitpunkt wiedergegeben werden kann. Diese Aufzeichnung erfolgt möglicherweise vom Ansichtspunkt des Teilnehmers/der Teilnehmerin 123, vom Ansichtspunkt eines anderen Teilnehmers/einer anderen Teilnehmerin am Besprechungsort, vom Ansichtspunkt einer Person, die „Mäuschen spielt“, und die den ganzen Besprechungsort im Blick hat, oder anderweitig, und beinhaltet sowohl die Teilnehmer/Teilnehmerinnen am Besprechungsort (z. B. den Teilnehmer/die Teilnehmerin 123) als auch entfernte Teilnehmer/Teilnehmerinnen (z. B. den Teilnehmer/die Teilnehmerin 122) an ihren durch das Konferenzsystem 101 bestimmten Positionen. Die aufgezeichnete Besprechung lässt sich wiedergeben auf einer AR-HMD ohne den Besprechungsortshintergrund, auf einer Virtual-Reality(VR)-HMD, welche die Besprechungsraummerkmale in einer immersiven visuellen Umgebung weiter präsentiert, auf einem zweidimensionalen Anzeigebildschirm, nur mit Ton oder durch ein beliebiges anderes Wiedergabeverfahren. In einigen Fällen müssen die Bilder möglicherweise in ein zum Ansehen auf der Wiedergabeanzeige zweckmäßiges Format umgewandelt werden. Falls zum Beispiel entfernte Teilnehmer/Teilnehmerinnen wie der Teilnehmer/die Teilnehmerin 122 in einem dreidimensionalen Video aufgenommen werden, muss dieses Video möglicherweise in zwei Dimensionen und in ein für eine zweidimensionale Wiedergabe fähiges Dateiformat umgewandelt werden.
3 veranschaulicht ein Verfahren zum Betreiben des Konferenzsystems 101 anhand eines Beispiels für ein Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen. Während einer Konferenzsitzung empfängt das Konferenzsystem 101 ein erstes Video, das von dem Teilnehmer/der Teilnehmerin 122, der/die von einem physischen Besprechungsort entfernt ist, aufgenommen wurde (Schritt 301). Das Konferenzsystem 101 bestimmt eine erste Position für den ersten Teilnehmer/die erste Teilnehmerin am physischen Besprechungsort (Schritt 302) und bestimmt eine Ansicht der von dem Teilnehmer/der Teilnehmerin 123 getragenen AR-HMD 103 am physischen Besprechungsort (Schritt 303). Aus dem ersten Video generiert das Konferenzsystem 101 ein AR-Video, das den Teilnehmer/die Teilnehmerin 122 für den Teilnehmer/die Teilnehmerin 123 an der ersten Position erscheinen lässt, wenn es durch die AR-HMD 103 angesehen wird (Schritt 304). Das Konferenzsystem 101 überträgt dann das AR-Video an die AR-HMD 103 zur Präsentation gegenüber dem Teilnehmer/der Teilnehmerin 123 (Schritt 305).
Wie für den Betrieb 200 angemerkt, kann das Konferenzsystem 101 dieselben Funktionen zum Präsentieren des Teilnehmers/der Teilnehmerin 123 gegenüber dem Teilnehmer/der Teilnehmerin 122 durchführen und kann dieselben Funktionen für mehr als zwei Teilnehmer/Teilnehmerinnen durchführen. Desgleichen müssen nicht alle der Schritte 301-305 in dieser Reihenfolge erfolgen. Zum Beispiel lässt sich die erste Position bestimmen, bevor die Konferenzsitzung beginnt.
Unter erneuter Bezugnahme auf 1 umfasst das Konferenzsystem 101 ein Computerverarbeitungssystem und eine Kommunikationsschnittstelle. Das Konferenzsystem 101 kann auch noch andere Komponenten umfassen, etwa einen Router, einen Server, ein Datenspeichersystem und eine Stromversorgung. Das Konferenzsystem 101 kann in einem einzelnen Gerät liegen oder kann über mehrere Geräte verteilt sein. Das Konferenzsystem 101 könnte ein Anwendungsserver, eine Personal Workstation oder ein Computersystem von einem beliebigen anderen Typ sein, das zum Ermöglichen einer Konferenz mit mehreren beteiligten Personen fähig ist - einschließlich Kombinationen davon.
Das Teilnehmeraufnahmesystem 102 umfasst eine oder mehrere Kameras zum Aufnehmen des Teilnehmers/der Teilnehmerin 122 und eine Kommunikationsschaltung zum Kommunizieren mit dem Konferenzsystem 101. Das Aufnahmesystem 102 kann auch ein oder mehrere Mikrofone zum Aufnehmen von Ton, eine Stromversorgung, eine Verarbeitungsschaltung oder andere Komponenten beinhalten. Das Aufnahmesystem 102 kann in einem einzelnen Gerät liegen oder kann über mehrere Geräte verteilt sein. Zum Beispiel umfasst das Aufnahmesystem 102 möglicherweise getrennte Kamera- und Mikrofonkomponenten zum Aufnehmen des Teilnehmers/der Teilnehmerin 122. Bei einigen Beispielen beinhaltet das Aufnahmesystem 102 möglicherweise Motoren, die ein Drehen, Schwenken oder Neigen des Systems 102 erlauben. Das Aufnahmesystem 102 kann auch 3D-Aufnahme- und -Registrierfähigkeiten wie Tiefen- oder Stereoabtastung beinhalten.
Die AR-HMD 103 umfasst ein Gestell, damit der Teilnehmer/die Teilnehmerin 123 die HMD 103 an seinem/ihrem Kopf tragen kann. In der Regel hat die AR-HMD 103 allgemein die Form einer Brille. Die HMD 103 umfasst weiter eine persönliche Anzeige zum Anzeigen von Videobildern für den Teilnehmer/die Teilnehmerin 123. Die Anzeige kann einen Bildprojektor umfassen, der Bilder auf Linsen der HMD 103 projiziert, oder kann eine Anzeige wie eine LCD sein, die in die Linsen eingebaut oder an ihrer Stelle vorhanden ist. Die HMD 103 beinhaltet weiter eine Verarbeitungs- und Kommunikationsschaltung und kann Tonwiedergabekomponenten wie Lautsprecher oder Kopfhörer beinhalten. Darüber hinaus kann die HMD 103 Video- und Tonaufnahmekomponenten wie eine Kamera und ein Mikrofon beinhalten.
Die Kommunikationsverbindungen 111 und 112 nutzen Metall, Glas, Luft, den Raum oder irgendein anderes Material als Transportmedium. Die Kommunikationsverbindungen 111 und 112 könnten verschiedene Kommunikationsprotokolle nutzen, etwa Time Division Multiplex (TDM), Internet Protocol (IP), Ethernet, Kommunikationssignalisierung, Code Division Multiple Access (CDMA), Evolution Data Only (EVDO), Worldwide Interoperability for Microwave Access (WIMAX), Global System for Mobile Communication (GSM), Long Term Evolution (LTE), Wireless Fidelity (WIFI), High Speed Packet Access (HSPA) oder irgendein anderes Kommunikationsformat - einschließlich Kombinationen davon. Die Kommunikationsverbindungen 111 und 112 könnten direkte Verbindungen sein oder können dazwischenliegende Netze, Systeme oder Geräte beinhalten.
4 veranschaulicht eine Konferenzumgebung 400. Die Konferenzumgebung 400 beinhaltet ein Konferenzsystem 401, einen Besprechungsraum 402, einen Besprechungsraum 403, einen individuellen Raum 404 und ein Kommunikationsnetz 405. Der Besprechungsraum 402 beinhaltet AR-HMDs 421-423, Audio-Video-Aufnahmegeräte 424 und Raumsensoren 425. Der Besprechungsraum 403 beinhaltet AR-HMDs 431-432, Audio-Video-Aufnahmegeräte 434 und Raumsensoren 435. Der individuelle Raum 404 beinhaltet eine Virtual-Reality(VR)-HMD 441 und eine Tonaufnahme 444. Das Kommunikationsnetz 405 kommuniziert mit dem Konferenzsystem 401, dem Besprechungsraum 402, dem Besprechungsraum 403 und dem individuellen Raum 404 jeweils über Kommunikationsverbindungen 411-414.
Das Kommunikationsnetz 405 umfasst Netzelemente, die Kommunikationsdienste für die Räume 402-404 und das Konferenzsystem 401 bereitstellen. Das Kommunikationsnetz 405 umfasst möglicherweise Switches, Funkzugangsknoten, Internetrouter, Netzgateways, Anwendungsserver, Computersysteme, Kommunikationsverbindungen oder eine Kommunikationsausstattung von irgendeinem anderen Typ - einschließlich Kombinationen davon. Wenngleich das Kommunikationsnetz 405 als einzelnes Netz gezeigt ist, kann es auch eine Menge von Netzen umfassen, die Local Area Networks, Wide Area Networks, das Internet oder Computernetze von beliebigen anderen Typen beinhalten - einschließlich Kombinationen davon.
Die VR-HMD 441 umfasst ein Gestell, damit ein Teilnehmer/eine Teilnehmerin die HMD 441 an seinem/ihrem Kopf tragen kann, ähnlich wie eine AR-HMD, die oben beschrieben wird. Die HMD 441 umfasst weiter eine persönliche Anzeige zum Anzeigen von Videobildern für den Teilnehmer/die Teilnehmerin 123. Die Anzeige kann eine Anzeige wie eine LCD umfassen, die in der HMD anstelle von Linsen eingebaut und so positioniert ist, dass der Teilnehmer/die Teilnehmerin wenig, falls überhaupt etwas, vom physischen Geschehen um sich herum sieht. Demgemäß bewirkt die VR-HMD 441 eine Immersion des Teilnehmers/der Teilnehmerin in die angezeigten visuellen Elemente. Die HMD 441 beinhaltet weiter eine Verarbeitungs- und Kommunikationsschaltung und kann Tonwiedergabekomponenten wie Lautsprecher oder Kopfhörer beinhalten. Darüber hinaus kann die HMD 441 Video- und Tonaufnahmekomponenten wie eine Kamera oder ein Mikrofon beinhalten.
Die Audio-Video-Aufnahmegeräte 424 und 434 umfassen Komponenten wie 2D- oder 3D-Kameras und Mikrofone, die für Video- und Tonaufnahmen von den Besprechungsräumen 402 und 403 und den darin befindlichen Teilnehmern genutzt werden. Die A/V-Aufnahmegeräte 424 und 434 können weiter Schaltungselemente für Kabel- oder Drahtlosvernetzung beinhalten, etwa eine Ethernet-Schnittstelle, eine Wi-Fi-Schnittstelle, ein Bluetooth-Modul oder eine Kommunikationsschnittstelle von einem anderen Typ. Bei einigen Beispielen können manche Komponenten der A/V-Aufnahmegeräte 424 und 434 in den AR-HMDs 421-423 und 431-432 beinhaltet sein.
Die Raumsensoren 425 und 435 beinhalten Komponenten, die Informationen aufnehmen, welche zum Bestimmen der Position und der Ansicht eines Teilnehmers/einer Teilnehmerin genutzt werden. Die Sensoren 425 und 435 beinhalten möglicherweise Näherungssensoren, RFID-Tags, Infrarot-Tags, Kompasse, Schallsensoren, Beschleunigungsmesser, Gyrosensoren oder beliebige andere Komponenten, die maßgebliche Informationen liefern können. Mindestens einige der Komponenten der Sensoren 425 und 435 können in die HMDs 421-423 und 431-432 und die AN-Aufnahmegeräte 424 und 434 integriert sein.
Bei einigen Beispielen beinhaltet jeder der Räume 402-404 möglicherweise weiter ein Zwischencomputersystem, das mit den HMDs, den A/V-Aufnahmegeräten und den Raumsensoren jedes Raums kommuniziert. Die Zwischencomputersysteme kommunizieren dann mit dem Konferenzsystem 401. In einigen Konfigurationen können einige der vom Konferenzsystem 401 durchgeführten Funktionen im Auftrag des Konferenzsystems 401 von diesen Zwischencomputersystemen erfüllt werden.
5 ist ein Sequenzdiagramm, das ein Betriebsszenario 500, um verbesserte visuelle Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen zu ermöglichen, veranschaulicht. Beim Szenario 500 wird eine Konferenzsitzung initiiert und das Konferenzsystem 401 beginnt, Ton- und Videoaufnahmen von den A/V-Aufnahmegeräten 424 und 434 nebst Sensorinformationen von den Raumsensoren 425 und 435 zu empfangen. Darüber hinaus wird bei diesem Beispiel am individuellen Raum 404 nur ein Tonteil vom Tonaufnahmegerät 444 her empfangen. Jedoch kann bei anderen Beispielen auch ein Video von einem Teilnehmer/einer Teilnehmerin, der/die die VR-HMD 441 trägt, zur Präsentation gegenüber den Teilnehmern/Teilnehmerinnen in den Besprechungsräumen 402 und 403 aufgenommen werden.
Das Konferenzsystem 401 nutzt dann die empfangenen Audio-, Video- und Sensorinformationen, um Positionen innerhalb jedes Besprechungsraums 402 und 403 zu bestimmen, in dem entfernte Teilnehmer/Teilnehmerinnen durch HMDs angesehen werden. Insbesondere bestimmt das Konferenzsystem 401 Positionen innerhalb des Besprechungsraums 402, an denen die Darstellungen von Teilnehmern/Teilnehmerinnen, die die HMDs 431, 432 und 441 tragen, angezeigt werden. Desgleichen bestimmt das Konferenzsystem 401 Positionen innerhalb des Besprechungsraums 403, an denen die Darstellungen von Teilnehmern/Teilnehmerinnen, die die HMDs 421-423 und 441 tragen, angezeigt werden.
Darüber hinaus bestimmt das Konferenzsystem 401 eine Position und eine Ansicht, von denen der Teilnehmer/die Teilnehmerin der VR-HMD 441 an der Konferenzsitzung teilnehmen wird. Die VR-Teilnehmer/VR-Teilnehmerinnen können die Konferenz von einer VR-Position innerhalb des Besprechungsraums 402, 403 oder innerhalb einer virtuellen Besprechungsraumdarstellung ansehen, in die Darstellungen von Teilnehmern/Teilnehmerinnen der Besprechungsräume 402 und 403 platziert sind. Der VR-Teilnehmer/die VR-Teilnehmerin wird dann im Rahmen einer Virtual-Reality-Besprechungserfahrung mit dem Hintergrund des ausgewählten Besprechungsraums zusätzlich zu den Darstellungen von Teilnehmern/Teilnehmerinnen am Besprechungsraum 402-403 präsentiert.
Bei einigen Beispielen kann dieser Positionsbestimmungsschritt während der Konferenz wiederholt werden, falls die Position eines oder mehrerer Teilnehmer/einer oder mehrerer Teilnehmerinnen geändert werden muss. Beispielsweise sind möglicherweise mehr Teilnehmer/Teilnehmerinnen bei der Konferenzsitzung, als Positionen für diese Teilnehmer/Teilnehmerinnen in einem gegebenen physischen Besprechungsraum vorhanden sind. Demgemäß werden möglicherweise nur manche Teilnehmer/Teilnehmerinnen, etwa die letzten Sprecher/Sprecherinnen, Teilnehmern/Teilnehmerinnen in einem physischen Besprechungsraum angezeigt. Wenn ein neuer Sprecher/eine neue Sprecherin redet, kann dieser Sprecher/diese Sprecherin die Position eines Sprechers/einer Sprecherin einnehmen, der/die eine Zeit lang nicht geredet hat.
Sobald Positionen bestimmt wurden, werden die Betriebsabläufe 600 und 700 durchgeführt, um ein Video zur Anzeige durch die AR-HMDs 421-423 und 431-432 und die VR-HMD 441 zu generieren. 6 veranschaulicht den Betrieb 600 zum Generieren von AR-Videos, während beim Betrieb 700 VR-Videos generiert werden.
Beim Betrieb 600 bestimmt das Konferenzsystem 401 Ansichten von jeder der AR-HMDs 421-423 und 431-432 (Schritt 601). Die Ansichten werden bestimmt aus Videos, die von jeder der AR-HMDs aufgenommen werden, und Raumsensorinformationen von den Sensoren 425 und 435. Die Ansichten werden bestimmt, damit das Video von den anderen Teilnehmern/Teilnehmerinnen an den bestimmten Orten relativ zur momentanen Ansicht der AR-HMD auf den AR-HMDs präsentiert werden kann.
Dann wird für jede AR-HMD 421-423 und 431-432 ein AR-Video generiert (Schritt 602). Jedes Video einer AR-HMD beinhaltet Darstellungen der anderen Teilnehmer/Teilnehmerinnen, die sich physisch nicht im selben Raum befinden. Bei einigen Beispielen beinhaltet möglicherweise jedes Video alle entfernten Teilnehmer/Teilnehmerinnen, die an ihren momentanen Positionen momentan in der Ansicht sind, sodass jede jeweilige AR-HMD das Video einfach anzeigt. Bei anderen Beispielen wird ein Video für jeden entfernten Teilnehmer/jede entfernte Teilnehmerin in der Ansicht generiert und die Position des Videos für jeden entfernten Teilnehmer/jede entfernte Teilnehmerin mit einem Tag versehen, sodass die anzeigende AR-HMD jedes Teilnehmervideo an einer Position in Übereinstimmung mit dem Tag anzeigt. Andere Varianten der Generierung von AR-Videos können ebenfalls genutzt werden.
Das Konferenzsystem 401 verfolgt weiterhin Änderungen der Ansichten von jeder AR-HMD (Schritt 603). Die Ansichtsänderungen werden basierend auf nachfolgenden Sensorinformationen und Videos von den AR-HMDs verfolgt, was aktualisierte Ansichten von jeder AR-HMD zur Folge hat. Zum Beispiel wendet jeder Teilnehmer/jede Teilnehmerin wahrscheinlich seinen/ihren jeweiligen Kopf oder bewegt sich in anderer Weise, sodass die Ansicht des Teilnehmers/der Teilnehmerin sich ändert und die Position jedes entfernten Teilnehmers/jeder entfernten Teilnehmerin relativ zur Änderung der Ansicht sich deshalb ebenfalls ändert. Basierend auf den Ansichtsänderungen wird das AR-Video für jede AR-HMD so angeglichen, dass die Ansichtsänderung berücksichtigt wird (Schritt 604). Das heißt, die im AR-Video angezeigten entfernten Teilnehmer/Teilnehmerinnen müssen möglicherweise so angeglichen werden, dass sie an ihren bestimmten Positionen relativ zur Perspektive der geänderten Ansicht bleiben. Die Angleichungen erfolgen sehr schnell, sodass der AR-Teilnehmer/die AR-Teilnehmerin nicht sieht, wie ein entfernter Teilnehmer/eine entfernte Teilnehmerin „springt“, um die Position aufrechtzuerhalten, wenn der AR-Teilnehmer/die AR-Teilnehmerin seinen/ihren Kopf bewegt.
7 veranschaulicht den Betrieb 700 zum Generieren eines VR-Videos gleichzeitig mit dem Betrieb 600, bei dem ein AR-Video generiert wird. Beim Betrieb 700 wird eine Ansicht der VR-HMD 441 bestimmt (Schritt 701). Da sich die VR-HMD 441 in keinem Besprechungsraum befindet, umfasst die Ansicht das Geschehen des Besprechungsraums, der durch die VR-HMD 441 aus der Perspektive der Position, die für den VR-Teilnehmer/die VR-Teilnehmerin vom Konferenzsystem 401 basierend auf der momentanen Position die VR-HMD 441 bestimmt wird (z. B. ausgelöst durch Kopfneigung, Kopfdrehung etc.), ihrem Teilnehmer/ihrer Teilnehmerin präsentiert wird. Wie oben angemerkt, kann die Ansicht eine Videoaufnahme vom Besprechungsraum 402, vom Besprechungsraum 403 oder von irgendeinem anderen virtuellen Besprechungsraum sein, der vom Konferenzsystem 401 grafisch generiert wird.
Das VR-Video wird dann generiert, um die bestimmte Ansicht zu bilden, die Videodarstellungen jeglicher Teilnehmer/Teilnehmerinnen beinhaltet, die physisch nicht im Raum sind, der für die Ansicht aufgenommen wird (Schritt 702). Falls der Besprechungsraum 402 zum Beispiel als der Raum genutzt wird, der von der VR-HMD 441 präsentiert wird, werden Teilnehmer/Teilnehmerinnen der AR-HMDs 421-423 abhängig vom Winkel der Ansicht bereits im Video aufgenommen. Ein Video, das von Teilnehmern/Teilnehmerinnen im Besprechungsraum 403 aufgenommen wurde, falls ihre Position in der momentanen Ansicht beinhaltet ist, wird in das VR-Video an ihren bestimmten Positionen im Raum 402 eingeblendet. Daher ähnelt das VR-Video für einen VR-Teilnehmer/eine VR-Teilnehmerin stark der Ansicht, die der Teilnehmer/die Teilnehmerin hätte, falls er/sie ein AR-Teilnehmer/eine AR-Teilnehmerin innerhalb des Raums 402 wäre. Der Unterschied besteht darin, dass der physische Besprechungsraum selbst, und die physischen Teilnehmer/Teilnehmerinnen darin, direkt durch transparente Linsen angesehen würden, statt über die VR-HMD 441 reproduziert zu werden. Falls der Besprechungsraum im VR-Video bei einem anderen Beispiel einen vom Konferenzsystem 401 generierten virtuellen Besprechungsraum umfasst, müssen die Teilnehmer/Teilnehmerinnen in den Besprechungsräumen 402 und 403 alle in ihre bestimmten Positionen innerhalb dieses virtuellen Besprechungsraums eingeblendet werden.
Das Konferenzsystem 401 verfolgt dann Änderungen der Ansicht der VR-HMD 441 im weiteren Verlauf der Konferenzsitzung (Schritt 703). Diese Änderungen werden basierend auf von der VR-HMD 441 empfangenen Sensorinformationen verfolgt und können angeben, dass der Teilnehmer/die Teilnehmerin seinen/ihren Kopf geneigt, gedreht oder in anderer Weise bewegt hat. Das VR-Video wird dann basierend auf diesen verfolgten Änderungen angeglichen (Schritt 704). Das heißt, das VR-Video wird den Teil des Besprechungsraumgeschehens anzeigen, der der momentanen Kopfposition des Teilnehmers/der Teilnehmerin entspricht. Falls der Teilnehmer/die Teilnehmerin seinen/ihren Kopf zum Beispiel von links nach rechts bewegt, schwenkt die vom VR-Video angezeigte Ansicht so ruhig wie möglich von links nach rechts und platziert jegliche entfernten Teilnehmer/Teilnehmerinnen an ihren korrekten Positionen innerhalb des angezeigten Raums. Dieser Prozess vermittelt dem VR-Teilnehmer/der VR-Teilnehmerin effektiv eine visuelle Erfahrung, die vergleichbar mit einem Aufenthalt in dem Raum mit den anderen Teilnehmern/Teilnehmerinnen ist.
Unter erneuter Bezugnahme auf 5 wird, sobald das AR- und das VR-Video generiert wurden, das AR-Video an die AR-HMDs 421-423 und 431-432 in den Besprechungsräumen 402 und 403 übertragen und das VR-Video wird an die VR-HMD 441 im unabhängigen Raum 404 übertragen. Die AR-HMDs 421-423 und 431-432 und die VR-HMD 441 präsentieren dann das empfangene Video ihren jeweiligen Trägern/Trägerinnen. Desgleichen wird ein dem AR- und dem VR-Video entsprechender Tonteil mit dem AR- und dem VR-Video oder in dem AR- und dem VR-Video beinhaltet an jede HMD übertragen. Der Tonteil kann von der empfangenden HMD selbst präsentiert oder von anderen Audiogeräten innerhalb der Räume 402-404 präsentiert werden. Bei einem konkreten Beispiel kann ein Tonteil, der die Stimme eines entfernten Teilnehmers/einer entfernten Teilnehmerin im Video darstellt, von einem Sprecher/einer Sprecherin, der/die im Raum positioniert ist, präsentiert werden, um den von der Position des Sprechers/der Sprecherin im Raum ausgehenden Tonteil zu simulieren. Die Schritte von 5 erfolgen fortlaufend, um Echtzeitkommunikationen zwischen allen Teilnehmern/Teilnehmerinnen, welche die HMDs tragen, zu ermöglichen.
8 veranschaulicht eine beispielhafte Ausrichtung von Teilnehmern/Teilnehmerinnen innerhalb der Räume 402-404. Insbesondere beinhaltet der Besprechungsraum 402 Teilnehmer/Teilnehmerinnen 811-813, die gerade jeweils die AR-HMDs 421-423 tragen. Der Besprechungsraum 403 beinhaltet Teilnehmer/Teilnehmerinnen 814 und 815, die gerade jeweils die AR-HMDs 421-423 tragen. Der unabhängige Raum 404 beinhaltet einen Teilnehmer/eine Teilnehmerin 816, der/die die VR-HMD 441 trägt. Bei diesem Beispiel beinhaltet der Besprechungsraum 402 einen Konferenztisch mit sechs Sitzpositionen mit einem Gerät 821-826 an jeder Position. Jedes Gerät 821-826 beinhaltet Komponenten von AN-Aufnahmegeräten 424 und Raumsensoren 425. Der Besprechungsraum 403 beinhaltet einen Konferenztisch ebenfalls mit sechs Sitzpositionen mit einem Gerät 831-836 an jeder Position. Jedes Gerät 831-836 beinhaltet Komponenten von AN-Aufnahmegeräten 434 und Raumsensoren 435. Des Weiteren ist das Tonaufnahmegerät 444 bei diesem Beispiel in die VR-HMD 441 integriert.
Im Betrieb haben die Geräte 822, 825, 826, 831, 832, 834 und 836 keine Teilnehmer/Teilnehmerinnen an ihren Positionen und können deshalb keinerlei Audio- oder Videoinformationen für eine Konferenzsitzung aufnehmen. Dagegen nehmen diese Geräte möglicherweise dennoch andere Informationen auf, die zum Bestimmen von Ansichten genutzt werden, und übertragen diese Informationen an das Konferenzsystem 401. Im Gegensatz dazu haben alle der Geräte 821, 823, 824, 833 und 835 Teilnehmer/Teilnehmerinnen an ihren jeweiligen Orten. Demgemäß beginnen diese Geräte, sobald die Konferenzsitzung angefangen hat, mit Ton- und Videoaufnahmen von ihren jeweiligen Teilnehmern/Teilnehmerinnen und mit der Übertragung dieser Ton- und Videoaufnahmen an das Konferenzsystem 401. Darüber hinaus beinhaltet jede der AR-HMDs 421-423 und 431-432 nach außen gerichtete Videokameras, die Videos aufnehmen und an das Konferenzsystem 401 übertragen, das die Videos zum Bestimmen einer Ansicht jedes Teilnehmers/jeder Teilnehmerin nutzt. Ferner nimmt das Aufnahmegerät 827 ein Video vom Besprechungsraum 402 zur Nutzung im VR-Video auf und stellt die visuelle Perspektive der Konferenz für den Teilnehmer/die Teilnehmerin 816 durch die VR-HMD 441 bereit.
Andere Aufnahmegeräte als diejenigen an den Positionen der Besprechungsteilnehmer/Besprechungsteilnehmerinnen können ebenfalls Videos von den Teilnehmern/Teilnehmerinnen aufnehmen, um gewünschte Videowinkel für entfernte Teilnehmer/Teilnehmerinnen zu liefern. Zum Beispiel kann ein Aufnahmegerät genutzt werden, das am besten den Winkel eines physischen Teilnehmers/einer physischen Teilnehmerin aufnehmen kann, der dem Winkel entspricht, in dem ein entfernter Teilnehmer/eine entfernte Teilnehmerin den physischen Teilnehmer/die physische Teilnehmerin gerade ansieht. Spezieller wird das Gerät 822, falls ein entfernter Teilnehmer/eine entfernte Teilnehmerin die Besprechung gerade von der leeren Position neben dem Gerät 822 ansieht, zum Aufnehmen des Besprechungsraums 402 für diesen Teilnehmer/diese Teilnehmerin genutzt. Des Weiteren können mehrere Aufnahmegeräte, einschließlich des Geräts 827 oder anderer nicht gezeigter Geräte, genutzt werden, um sicherzustellen, dass Videos aus so vielen maßgeblichen Winkeln wie möglich aufgenommen werden.
Nach dem Empfangen der Audio-, Video- und anderer Sensorinformationen führt das Konferenzsystem 401 die in den 5-7 oben beschriebenen Betriebsabläufe durch. Dank dieser Betriebsabläufe kann das Konferenzsystem 401 AR- und VR-Videos bereitstellen, die nötig sind, damit die Teilnehmer/Teilnehmerinnen 811-813, 814-815 und 816 alle die Konferenzsitzung so erfahren, als wenn sie alle im selben Raum seien.
9 veranschaulicht eine beispielhafte Ausrichtung von Teilnehmern/Teilnehmerinnen innerhalb der Räume 402-404, sobald die Teilnehmer/Teilnehmerinnen die Konferenzsitzung durch vom Konferenzsystem 401 bereitgestellte Videos ansehen. Speziell hat das Konferenzsystem 401, wie gezeigt, Positionen innerhalb jedes Raums 402 und 403 für die von jedem Raum entfernten Teilnehmer/Teilnehmerinnen bestimmt. Keine Position wurde bei diesem Beispiel für den Teilnehmer/die Teilnehmerin 816 bestimmt, weil kein Video von dem Teilnehmer/der Teilnehmerin 816 aufgenommen wurde, obwohl Tonteile von dem Teilnehmer/der Teilnehmerin 816 von einer konkreten Position präsentiert werden können. Jedoch wird bei einigen Beispielen möglicherweise ein Video von dem Teilnehmer/der Teilnehmerin 816 aufgenommen und deshalb kann die freie Stelle in jedem der Räume 402 und 403 von dem Teilnehmer/der Teilnehmerin 816 eingenommen werden. Alternativ kann der Teilnehmer/die Teilnehmerin 816 statt durch ein Echtzeitvideo von dem Teilnehmer/der Teilnehmerin 816 durch einen Avatar oder eine andere grafische Darstellung dargestellt werden.
Wenn die Teilnehmer/Teilnehmerinnen 811-813 im Raum 402 durch ihre AR-HMDs angesehen werden, können sie ein Video von den Teilnehmern/Teilnehmerinnen 814-815 an Positionen im Raum 402 so sehen, als ob sich die Teilnehmer/Teilnehmerinnen 814-815 im Raum 402 befänden. Desgleichen können die Teilnehmer/Teilnehmerinnen 814-815 im Raum 403 ein Video von den Teilnehmern/Teilnehmerinnen 811-813 an Positionen im Raum 403 so sehen, als ob sich die Teilnehmer/Teilnehmerinnen 811-813 im Raum 403 befänden. Bei einem konkreten Beispiel ist die Ansicht 901 das, was der Teilnehmer/die Teilnehmerin 811 durch seine/ihre AR-HMD 421 sieht. Obgleich die Position des Teilnehmers/der Teilnehmerin 815 physisch leer ist, erweckt das dem Teilnehmer/der Teilnehmerin 811 präsentierte AR-Video den Anschein, dass der Teilnehmer/die Teilnehmerin 815 an dieser Position ist. Ähnlich ist die Ansicht 902 das, was der Teilnehmer/die Teilnehmerin 815 durch seine/ihre AR-HMD 432 sieht. Obgleich die Positionen der Teilnehmer/Teilnehmerinnen 811 und 812 physisch leer sind, erweckt das dem Teilnehmer/der Teilnehmerin 815 präsentierte AR-Video den Anschein, dass die Teilnehmer/Teilnehmerinnen 811 und 812 an diesen Positionen sind.
Wenn sich die Ansichten 901 und 902 ändern (z. B. wenn die Teilnehmer/Teilnehmerinnen 811 und 815 ihre Köpfe neigen oder schwenken), verfolgt das Konferenzsystem 401 diese Ansichtsänderungen und gleicht das AR-Video für jeden Teilnehmer/jede Teilnehmerin entsprechend an, um sicherzustellen, dass die entfernten Teilnehmer/Teilnehmerinnen weiterhin an ihren korrekten Positionen präsentiert werden. Demzufolge präsentiert das AR-Video im Fall der Ansicht 901, wenn der Teilnehmer/die Teilnehmerin 811 seinen/ihren Kopf mehr nach links dreht, möglicherweise den Teilnehmer/die Teilnehmerin 815 nicht mehr, da sich der Teilnehmer/die Teilnehmerin 815 aus der Ansicht wegbewegt, und präsentiert, wie der Teilnehmer/die Teilnehmerin 814 neben dem Teilnehmer/der Teilnehmerin 811 „sitzt“, wenn sich der Teilnehmer/die Teilnehmerin 814 in die Ansicht hineinbewegt.
Was den Teilnehmer/die Teilnehmerin 816 angeht, so umfasst das dem Teilnehmer/der Teilnehmerin 816 präsentierte VR-Video eine vom Gerät 827 aufgenommene Ansicht 903. Vom Konferenzsystem 401 wird in die Ansicht 903 das Video von dem Teilnehmer/der Teilnehmerin 814 eingeblendet, sodass es aussieht, als ob der Teilnehmer/die Teilnehmerin 814 gerade zwischen den Teilnehmern/Teilnehmerinnen 811 und 812 im Raum 402 sitzt. Wenn der Teilnehmer/die Teilnehmerin 816 seinen/ihren Kopf nach rechts bewegt, ändert sich die Ansicht 903 und der Teilnehmer/die Teilnehmerin 813 rückt in die Ansicht, wie vom Gerät 827 aufgenommen. Darüber hinaus wird weiter rechts ein Video von dem Teilnehmer/der Teilnehmerin 815 weiter in das VR-Video eingeblendet, sodass der Teilnehmer/die Teilnehmerin 816 in der Lage ist, den Teilnehmer/die Teilnehmerin 815 so zu sehen, als ob der Teilnehmer/die Teilnehmerin 815 im Raum 432sei. Das Gerät 827 muss sich möglicherweise selbst bewegen, um die Ansicht 903 in Übereinstimmung mit den Kopfbewegungen des Teilnehmers/der Teilnehmerin 816 aufzunehmen, oder das Gerät 827 nimmt möglicherweise ein Video auf, das breit genug ist, damit das Konferenzsystem 401 die Ansicht innerhalb des bereits aufgenommenen Videos lediglich bewegen muss, um das VR-Video für den Teilnehmer/die Teilnehmerin 816 zu generieren.
Um die Wirksamkeit des AR-Videos zu erhöhen, wird darüber hinaus ein Tonteil von jedem entfernten Teilnehmer/jeder entfernten Teilnehmerin an der Position dieses Teilnehmers/dieser Teilnehmerin vom Gerät abgespielt. Falls zum Beispiel der Teilnehmer/die Teilnehmerin 814 gerade spricht, präsentiert das Gerät 822 den Tonteil von dem Teilnehmer/der Teilnehmerin 814, sodass die Teilnehmer/Teilnehmerinnen 811-813 den Teilnehmer/die Teilnehmerin 814 so hören, als ob der Teilnehmer/die Teilnehmerin 814 wirklich an der Position in dem im AR-Video präsentierten Raum 402sei. Jedes Gerät in den Räumen 402 und 403 kann den für den Teilnehmer/die Teilnehmerin 816 aufgenommenen Tonteil präsentieren. Falls dagegen für den Teilnehmer/die Teilnehmerin 816 eine Position in einem oder beiden der Räume 401 und 403 bestimmt wird, lässt sich der Tonteil so präsentieren, als ob er von dieser bestimmten Position käme.
Weiter sei angemerkt, dass die Besprechungsräume 402 und 403 beide wahrscheinlich Objekte enthalten, einschließlich der physischen Teilnehmer/Teilnehmerinnen selbst, welche die Ansicht anderer Teilnehmer/Teilnehmerinnen verdecken könnten. Um einen entfernten Teilnehmer/eine entfernte Teilnehmerin, der/die sich physisch innerhalb des Raums befindet, bestmöglich zu emulieren, muss deshalb ein Video von den entfernten Teilnehmern/Teilnehmerinnen diese Objekte berücksichtigen. Zum Beispiel verdeckt das Gerät 826 möglicherweise die Ansicht des entfernten Teilnehmers/der entfernten Teilnehmerin 815 in der Ansicht 901. Das AR-Video von dem entfernten Teilnehmer/der entfernten Teilnehmerin 815 wird entsprechend generiert, sodass es in der Ansicht 901 für den Teilnehmer/die Teilnehmerin 811 so aussieht, als ob der Teilnehmer/die Teilnehmerin 815 hinter dem Gerät 826 ist, genau wie es der Fall wäre, wenn der Teilnehmer/die Teilnehmerin 815 physisch im Raum 402 wäre.
Bei einigen Beispielen fügt das Konferenzsystem 401 möglicherweise weiter Präsentationsinformationen in die von jedem Teilnehmer/jeder Teilnehmerin angesehenen AR- und VR-Videos ein. Zum Beispiel beinhalten die Informationen möglicherweise Präsentationsfolien, die infolge einer Einblendung in die AR- oder die VR-Videos auf eine Wand oder einen Tisch/Schreibtisch des Besprechungsraums 402 oder 403 projiziert scheinen. Alternativ könnten die Informationen in einer von jeglichen physischen Merkmalen unabhängigen Weise präsentiert werden. Desgleichen können vom Konferenzsystem 401 noch andere Informationen in die AR- und die VR-Videos aufgenommen werden, etwa Chatfenster, auf die Konferenzsitzung bezogene Kontextinformationen oder beliebige andere visuelle Informationen, die ein Teilnehmer/eine Teilnehmerin nützlich finden könnte.
10 veranschaulicht ein Konferenzsystem 1000. Das Konferenzsystem 1000 ist ein Beispiel für das Konferenzsystem 101, wenngleich das System 101 alternative Konfigurationen nutzen könnte. Das Konferenzsystem 1000 umfasst eine Kommunikationsschnittstelle 1001, eine Benutzerschnittstelle 1002 und ein Verarbeitungssystem 1003. Das Verarbeitungssystem 1003 ist mit der Kommunikationsschnittstelle 1001 und der Benutzerschnittstelle 1002 verbunden. Das Verarbeitungssystem 1003 beinhaltet eine Verarbeitungsschaltung 1005 und ein Speichergerät 1006, das eine Betriebssoftware 1007 speichert. Das Konferenzsystem 1000 kann weitere wohl bekannte Komponenten wie eine Batterie und ein Gehäuse beinhalten, die der Klarheit halber nicht gezeigt werden. Das Konferenzsystem 1000 ist möglicherweise ein Personal Computer, ein Server oder irgendeine andere Computereinrichtung - einschließlich Kombinationen davon. Bei einigen Beispielen ist das Konferenzsystem 1000 möglicherweise über mehrere Orte repliziert, um die Verarbeitungslast zu verteilen, die zum Funktionieren, wie hierin beschrieben, erforderlich ist.
Die Kommunikationsschnittstelle 1001 umfasst Komponenten, die über Kommunikationsverbindungen wie Netzkarten, Ports, HF-Transceiver, Verarbeitungsschaltungen und -software oder beliebige andere Kommunikationsgeräte kommunizieren. Die Kommunikationsschnittstelle 1001 kann konfiguriert sein, um über metallische, drahtlose oder optische Verbindungen zu kommunizieren. Die Kommunikationsschnittstelle 1001 kann konfiguriert sein, um TDM, IP, Ethernet, optische Vernetzung, Drahtlosprotokolle, Kommunikationssignalisierung oder irgendein anderes Kommunikationsformat zu nutzen - einschließlich Kombinationen davon.
Die Benutzerschnittstelle 1002 umfasst Komponenten, die mit einem Benutzer/einer Benutzerin interagieren, um Benutzereingaben zu empfangen und Medien und/oder Informationen zu präsentieren. Die Benutzerschnittstelle 1002 beinhaltet möglicherweise einen Lautsprecher, ein Mikrofon, Schaltflächen, eine Beleuchtung, einen Anzeigebildschirm, einen Berührungsbildschirm, ein Berührungspad, ein Scrollrad, einen Kommunikationsport oder irgendeine andere Benutzereingabe-/ -ausgabeeinrichtung - einschließlich Kombinationen davon. Die Benutzerschnittstelle 1002 ist bei einigen Beispielen möglicherweise weggelassen.
Die Verarbeitungsschaltung 1005 umfasst einen Mikroprozessor und andere Schaltungen, welche die Betriebssoftware 1007 aus dem Speichergerät 1006 abrufen und ausführen. Das Speichergerät 1006 umfasst ein nicht transientes Speichermedium wie ein Plattenlaufwerk, ein Flashlaufwerk, eine Datenspeicherschaltung oder irgendeine andere Speichereinrichtung. Die Verarbeitungsschaltung 1005 ist in der Regel auf einer Leiterplatte montiert, die auch mit dem Speichergerät 1006 und Teilen der Kommunikationsschnittstelle 1001 und der Benutzerschnittstelle 1002 bestückt sein kann. Die Betriebssoftware 1007 umfasst Computerprogramme, Firmware oder beliebige andere Formen maschinenlesbarer Verarbeitungsbefehle. Die Betriebssoftware 1007 beinhaltet ein Positions- und Ansichtsbestimmungsmodul 1008 und ein Videogeneriermodul 1009. Die Betriebssoftware 1007 beinhaltet möglicherweise weiter ein Betriebssystem, Dienstprogramme, Treiber, Netzschnittstellen, Anwendungen oder Software von beliebigen anderen Typen. Wenn die Betriebssoftware 1007 von der Verarbeitungsschaltung 1005 ausgeführt wird, weist sie das Verarbeitungssystem 1003 dazu an, das Konferenzsystem 1000, wie hierin beschrieben, zu betreiben.
Insbesondere weist die Betriebssoftware 1007 das Verarbeitungssystem 1003 dazu an, während einer Konferenzsitzung ein erstes Video zu empfangen, das von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die von einem physischen Besprechungsort entfernt ist, aufgenommen wurde. Das Positions- und Ansichtsbestimmungsmodul 1008 weist das Verarbeitungssystem 1003 dazu an, eine erste Position für den ersten Teilnehmer/die erste Teilnehmerin am physischen Besprechungsort zu bestimmen und eine Ansicht einer am Kopf angebrachten Augmented-Reality(AR)-Anzeige, die von einem zweiten Teilnehmer/einer zweiten Teilnehmerin am physischen Besprechungsort getragen wird, zu bestimmen. Das Videogeneriermodul 1009 weist das Verarbeitungssystem 1003 dazu an, aus dem ersten Video ein AR-Video zu generieren, das den ersten Teilnehmer/die erste Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin an der ersten Position erscheinen lässt, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird, und das AR-Video an die am Kopf angebrachte AR-Anzeige zur Präsentation gegenüber dem zweiten Teilnehmer/der zweiten Teilnehmerin zu übertragen.
Die obige Beschreibung und die assoziierten Figuren lehren die beste Ausführungsform der Erfindung. Die folgenden Ansprüche legen den Schutzbereich der Erfindung fest. Es ist zu beachten, dass einige Aspekte der besten Ausführungsform möglicherweise nicht in den Schutzbereich der Erfindung, wie von den Ansprüchen festgelegt, fallen. Der Fachmann erkennt, dass die oben beschriebenen Merkmale auf verschiedene Weisen kombiniert werden können, um mehrere Varianten der Erfindung zu bilden. Folglich wird die Erfindung nicht auf die speziellen Ausführungsformen, die oben beschrieben werden, sondern nur durch die folgenden Ansprüche und ihre Äquivalente begrenzt.

Claims

Nicht transientes computerlesbares Speichermedium mit darauf gespeicherten Befehlen, das, wenn es von einer Verarbeitungsschaltung eines Konferenzsystems ausgeführt wird, das Konferenzsystem dazu anweist, ein Verfahren zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen durchzuführen, wobei das Verfahren Folgendes umfasst: Empfangen eines ersten Videos, während einer Konferenzsitzung, das von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die von einem physischen Besprechungsort entfernt ist, aufgenommen wurde; Identifizieren einer oder mehrerer verfügbarer physischer Teilnehmerpositionen am Besprechungsort, wobei jede eine Position umfasst, an der sich der erste Teilnehmer physisch befinden könnte, wenn sich der physische Teilnehmer am Besprechungsort befände; Bestimmen einer ersten Position für den ersten Teilnehmer/die erste Teilnehmerin aus der einen oder den mehreren verfügbarer physischer Teilnehmerpositionen am physischen Besprechungsort; Bestimmen einer Ansicht einer am Kopf angebrachten Augmented-Reality(AR)-Anzeige, die von einem zweiten Teilnehmer/einer zweiten Teilnehmerin am physischen Besprechungsort getragen wird; Generieren, aus dem ersten Video, eines AR-Videos, das den ersten Teilnehmer/die erste Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin erscheinen lässt, als ob der erste Teilnehmer/die erste Teilnehmerin sich physisch an der ersten Position befände, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird; und Übertragen des AR-Videos an die am Kopf angebrachte AR-Anzeige zur Präsentation gegenüber dem zweiten Teilnehmer/der zweiten Teilnehmerin.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das Verfahren weiter Folgendes umfasst: Empfangen eines zweiten Videos, das vom physischen Besprechungsort aufgenommen wurde; Bestimmen einer zweiten Position am physischen Besprechungsort für einen dritten Teilnehmer/eine dritte Teilnehmerin, der/die vom physischen Besprechungsort entfernt ist; Generieren, aus dem ersten Video und dem zweiten Video, eines Virtual-Reality(VR)-Videos, das den physischen Besprechungsraum mit dem ersten Teilnehmer/der ersten Teilnehmerin an der ersten Position von einem Ansichtspunkt der zweiten Position aus präsentiert; und Übertragen des VR-Videos an eine am Kopf angebrachte VR-Anzeige, die von dem dritten Teilnehmer/der dritten Teilnehmerin getragen wird, zur Präsentation gegenüber dem dritten Teilnehmer/der dritten Teilnehmerin.
Nicht transientes computerlesbares Medium nach Anspruch 2, wobei das Generieren des AR-Videos weiter eine Darstellung des dritten Teilnehmers/der dritten Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin an der zweiten Position erscheinen lässt, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das Verfahren weiter Folgendes umfasst: Empfangen eines ersten Tonteils, der von dem ersten Teilnehmer/der ersten Teilnehmerin zusammen mit dem ersten Video aufgenommen wurde; Übertragen des ersten Tonteils an ein Audiogerät am physischen Besprechungsort, wobei das Audiogerät den ersten Tonteil so präsentiert, dass der zweite Teilnehmer/die zweite Teilnehmerin den Tonteil als im Wesentlichen von der ersten Position kommend hört.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das Bestimmen der Ansicht der am Kopf angebrachten AR-Anzeige Folgendes umfasst: Empfangen von Ausrichtungsinformationen von der am Kopf angebrachten AR-Anzeige; Empfangen von Positionsinformationen zu dem zweiten Teilnehmer/der zweiten Teilnehmerin aus Quellen, die von außerhalb der am Kopf angebrachten AR-Anzeige kommen Identifizieren der Ansicht der am Kopf angebrachten AR-Anzeige basierend auf den Ausrichtungsinformationen und den Positionsinformationen.
Nicht transientes computerlesbares Medium nach Anspruch 1, wobei das Generieren des AR-Videos weiter Folgendes umfasst: Einblenden zusätzlicher visueller Informationen, die mit der Konferenzsitzung assoziiert sind, sodass die zusätzlichen visuellen Informationen für den zweiten Teilnehmer/die zweite Teilnehmerin an einer Position innerhalb des physischen Besprechungsorts erscheinen, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird.
Konferenzsystem zum Ermöglichen von verbesserter visueller Kommunikation zwischen entfernten Teilnehmern/Teilnehmerinnen, wobei das Konferenzsystem Folgendes umfasst: eine Kommunikationsschnittstelle, die konfiguriert ist, um während einer Konferenzsitzung ein erstes Video zu empfangen, das von einem ersten Teilnehmer/einer ersten Teilnehmerin, der/die von einem physischen Besprechungsort entfernt ist, aufgenommen wurde; eine Verarbeitungsschaltung, die konfiguriert ist, um eine oder mehrere verfügbare physische Teilnehmerpositionen am Besprechungsort zu identifizieren, eine erste Position für den ersten Teilnehmer/die erste Teilnehmerin von der einen oder den mehreren verfügbaren physischen Teilnehmerpositionen am physischen Besprechungsort zu bestimmen, eine Ansicht einer am Kopf angebrachten Augmented-Reality(AR)-Anzeige, die von einem zweiten Teilnehmer/einer zweiten Teilnehmerin am physischen Besprechungsort getragen wird, zu bestimmen und aus dem ersten Video ein AR-Video zu generieren, das den ersten Teilnehmer/die erste Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin erscheinen lässt, als ob der erste Teilnehmer/die erste Teilnehmerin sich physisch an der ersten Position befände, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird; und wobei die Kommunikationsschnittstelle konfiguriert ist, um das AR-Video an die am Kopf angebrachte AR-Anzeige zur Präsentation gegenüber dem zweiten Teilnehmer/der zweiten Teilnehmerin zu übertragen.
Konferenzsystem nach Anspruch 7, das weiter Folgendes umfasst: dass die Kommunikationsschnittstelle konfiguriert ist, um das zweite Video zu empfangen, das vom physischen Besprechungsort aufgenommen wurde; dass die Verarbeitungsschaltung konfiguriert ist, um eine zweite Position am physischen Besprechungsort für einen dritten Teilnehmer/eine dritte Teilnehmerin, der/die vom physischen Besprechungsort entfernt ist, zu bestimmen und aus dem ersten Video und dem zweiten Video ein Virtual-Reality(VR)-Video zu generieren, das den physischen Besprechungsraum mit dem ersten Teilnehmer/der ersten Teilnehmerin an der ersten Position von einem Ansichtspunkt der zweiten Position präsentiert; und dass die Kommunikationsschnittstelle konfiguriert ist, um das VR-Video an eine am Kopf angebrachte VR-Anzeige, die von dem dritten Teilnehmer/der dritten Teilnehmerin getragen wird, zur Präsentation gegenüber dem dritten Teilnehmer/der dritten Teilnehmerin zu übertragen.
Konferenzsystem nach Anspruch 8, wobei die zum Generieren des AR-Videos konfigurierte Verarbeitungsschaltung die Verarbeitungsschaltung umfasst, die konfiguriert ist, um eine Darstellung des dritten Teilnehmers/der dritten Teilnehmerin für den zweiten Teilnehmer/die zweite Teilnehmerin an der zweiten Position erscheinen zu lassen, wenn es durch die am Kopf angebrachte AR-Anzeige angesehen wird.
Konferenzsystem nach Anspruch 7, das weiter Folgendes umfasst: dass die Kommunikationsschnittstelle konfiguriert ist, um einen ersten Tonteil zu empfangen, der von dem ersten Teilnehmer/der ersten Teilnehmerin zusammen mit dem ersten Video aufgenommen wurde, und den ersten Tonteil an ein Audiogerät am physischen Besprechungsort zu übertragen, wobei das Audiogerät den ersten Tonteil so präsentiert, dass der zweite Teilnehmer/die zweite Teilnehmerin den Tonteil als im Wesentlichen von der ersten Position kommend hört.