TECHNISCHES GEBIET TECHNICAL AREA
Diese Beschreibung bezieht sich im Allgemeinen auf ein Kameraträgersystem. Insbesondere bezieht sich die Beschreibung auf das Erzeugen stereoskopischer Panoramen aus aufgenommenen Bildern für die Anzeige in einer Virtuellen Realitäts-(Virtual Reality, VR)- und/oder erweiterten Realitäts-(Augmented Reality, AR)-Umgebung. This description generally refers to a camera carrier system. In particular, the description relates to creating stereoscopic panoramas of captured images for display in a virtual reality (VR) and / or enhanced reality (augmented reality, AR) environment.
ALLGEMEINER STAND DER TECHNIK GENERAL PRIOR ART
Panoramafotografietechniken können bei Bildern und Videos verwendet werden, um eine breite Ansicht einer Szene bereitzustellen. Herkömmlicherweise können Panoramafotografietechniken und Bildgebungstechniken verwendet werden, um Panoramabilder aus einer Reihe nebeneinander liegender Fotos zu erhalten, die mit einer herkömmlichen Kamera aufgenommen wurden. Die Fotos können in Ausrichtung zusammen montiert werden, um ein Panoramabild zu erhalten. Panoramic photography techniques can be used on images and videos to provide a broad view of a scene. Conventionally, panoramic photography techniques and imaging techniques can be used to obtain panoramic images from a series of juxtaposed photos taken with a conventional camera. The photos can be mounted together in alignment to obtain a panoramic picture.
KURZDARSTELLUNG DER OFFENBARUNG SHORT DESCRIPTION OF THE REVELATION
Ein System von einem oder mehreren Computern, Kameraträgersystemen und Bildaufnahmevorrichtungen, die an den Kameraträgersystemen angebracht sind, kann so konfiguriert werden, dass es bestimmte Operationen oder Aktionen ausführt, indem es Software, Firmware, Hardware oder eine Kombination derselben auf dem System installiert hat, die im Betriebszustand das System dazu veranlasst, die Aktionen durchzuführen. A system of one or more computers, camera support systems, and imaging devices attached to the camera support systems may be configured to perform certain operations or actions by installing software, firmware, hardware, or a combination thereof on the system In the operating state, the system is prompted to carry out the actions.
In einem allgemeinen Aspekt beinhaltet ein Kameraträgersystem eine erste Stufe mit einer ersten Vielzahl von Bildsensoren. Die erste Vielzahl von Bildsensoren kann kreisförmig angeordnet und so ausgerichtet sein, dass ihre Sichtfeldachsen rechtwinklig zu einer Tangente der Kreisform verlaufen, in der sie angeordnet sind. Das Kameraträgersystem beinhaltet außerdem eine zweite Stufe, die eine zweite Vielzahl von Bildsensoren umfasst. Die zweite Vielzahl von Bildsensoren kann so ausgerichtet sein, dass ihre Sichtfeldachsen nicht parallel zu den Sichtfeldachsen der ersten Vielzahl von Bildsensoren verlaufen. Die zweite Stufe kann über der ersten Stufe im Kameraträgersystem positioniert sein. In a general aspect, a camera carrier system includes a first stage having a first plurality of image sensors. The first plurality of image sensors may be arranged in a circle and oriented so that their field of view axes are perpendicular to a tangent of the circular shape in which they are arranged. The camera carrier system also includes a second stage that includes a second plurality of image sensors. The second plurality of image sensors may be oriented such that their field of view axes are not parallel to the field of view axes of the first plurality of image sensors. The second stage may be positioned above the first stage in the camera carrier system.
Implementierungen können eine oder mehrere der folgenden Merkmale allein oder in Kombination mit einer oder mehreren anderen Merkmalen beinhalten. In einer beliebigen oder allen der obigen Implementierungen ist zum Beispiel ein Radius eines kreisförmigen Kameraträgersystemgehäuses, in dem die erste Vielzahl von Bildsensoren definiert ist, so definiert, dass das erste Sichtfeld eines ersten der ersten Vielzahl von Bildsensoren ein zweites Sichtfeld eines zweiten der ersten Vielzahl von Bildsensoren und ein drittes Sichtfeld eines dritten der ersten Vielzahl von Bildsensoren überschneidet. In einer beliebigen oder allen der obigen Implementierungen sind der erste der ersten Vielzahl von Bildsensoren, der zweite der ersten Vielzahl von Bildsensoren und der dritte der ersten Vielzahl von Bildsensoren innerhalb einer Ebene angeordnet. Implementations may include one or more of the following features alone or in combination with one or more other features. For example, in any or all of the above implementations, a radius of a circular camera support system housing in which the first plurality of image sensors is defined is defined such that the first field of view of a first of the first plurality of image sensors is a second field of view of a second of the first plurality of Image sensors and a third field of view of a third of the first plurality of image sensors overlaps. In any or all of the above implementations, the first of the first plurality of image sensors, the second of the first plurality of image sensors, and the third of the first plurality of image sensors are arranged within a plane.
In einem anderen Aspekt beinhaltet ein Kameraträgersystem ein Kameragehäuse. Das Kameragehäuse beinhaltet einen unteren kreisförmigen Umfang und eine obere mehrflächige Kappe. Der untere kreisförmige Umfang befindet sich unter der mehrflächigen Kappe. Das Kameraträgersystem kann eine erste Vielzahl von Kameras beinhalten, die kreisförmig und entlang des unteren Umfangs des Kameragehäuses angeordnet sind, sodass jede der Vielzahl von Kameras eine nach außen gerichtete Projektionsnormale zum unteren kreisförmigen Umfang aufweist. Das Kameraträgersystem kann außerdem eine zweite Vielzahl von Kameras beinhalten. Die zweite Vielzahl von Kameras kann jeweils an jeweiligen Stirnflächen der oberen mehrflächigen Kappe angeordnet sein, sodass jede der zweiten Vielzahl von Kameras eine nach außen gerichtete Projektion aufweist, die nicht parallel zur Normalen des unteren kreisförmigen Umfangs verläuft. In another aspect, a camera carrier system includes a camera body. The camera body includes a lower circular periphery and an upper multi-surface cap. The lower circular circumference is under the multi-faceted cap. The camera support system may include a first plurality of cameras arranged in a circle and along the lower circumference of the camera body so that each of the plurality of cameras has an outward projection normal to the lower circular periphery. The camera carrier system may also include a second plurality of cameras. The second plurality of cameras may each be disposed on respective end surfaces of the upper multi-surface cap, so that each of the second plurality of cameras has an outward projection that is not parallel to the normal of the lower circular periphery.
In einem anderen Aspekt beinhaltet ein Verfahren das Definieren eines ersten Satzes von Bildern für eine erste Stufe eines mehrstufigen Kameraträgersystems, wobei der erste Satz von Bildern von einer ersten Vielzahl von Kameras erhalten wird, die kreisförmig angeordnet sind, sodass jede der ersten Vielzahl von Kameras eine von der Kreisform nach außen gerichtete Projektionsnormale aufweist. Das Verfahren kann außerdem das Berechnen eines ersten optischen Flusses im ersten Satz von Bildern und das Zusammensetzen des ersten Satzes von Bildern beinhalten, um auf Basis des ersten optischen Flusses ein erstes zusammengesetztes Bild zu erstellen. Das Verfahren beinhaltet außerdem das Definieren eines zweiten Satzes von Bildern für eine zweite Stufe eines mehrstufigen Kameraträgersystems. Der zweite Satz von Bildern kann von einer zweiten Vielzahl von Kameras erhalten werden, die so angeordnet sind, dass jede der Vielzahl von Kameras eine nach außen gerichtete Projektion aufweist, die nicht parallel zur Normalen der Kreisform der ersten Vielzahl von Kameras verläuft. Das Verfahren kann außerdem das Berechnen eines zweiten optischen Flusses im zweiten Satz von Bildern und das Zusammensetzen des zweiten Satzes von Bildern beinhalten, um auf Basis des zweiten optischen Flusses ein zweites zusammengesetztes Bild zu erstellen. Das Verfahren erzeugt ein Omnistereo-Panoramabild durch Zusammensetzen des ersten zusammengesetzten Bilds und des zweiten zusammengesetzten Bilds. In another aspect, a method includes defining a first set of images for a first stage of a multi-stage camera support system, wherein the first set of images is obtained from a first plurality of cameras arranged in a circle so that each of the first plurality of cameras has a having projected from the circular shape outward projection standards. The method may further include calculating a first optical flow in the first set of images and composing the first set of images to create a first composite image based on the first optical flow. The method also includes defining a second set of images for a second stage of a multi-stage camera support system. The second set of images can be from a second plurality of cameras are arranged, which are arranged so that each of the plurality of cameras has an outward projection, which is not parallel to the normal of the circular shape of the first plurality of cameras. The method may further include calculating a second optical flow in the second set of images and composing the second set of images to create a second composite image based on the second optical flow. The method generates an omnidirectional panoramic image by composing the first composite image and the second composite image.
Andere Ausführungsformen dieses Aspekts beinhalten entsprechende Computersysteme, Vorrichtungen und Computerprogramme, die auf einem oder mehreren Computerspeichergeräten aufgezeichnet sind, die jeweils so konfiguriert sind, dass sie Aktionen der Verfahren durchführen. Other embodiments of this aspect include respective computer systems, devices, and computer programs recorded on one or more computer memory devices, each configured to perform actions of the methods.
Die Details einer oder mehrerer Implementierungen sind in den nachstehenden zugehörigen Zeichnungen und der Beschreibung dargelegt. Weitere Merkmale ergeben sich aus der Beschreibung und den Zeichnungen, sowie aus den Ansprüchen. The details of one or more implementations are set forth in the accompanying drawings below and the description. Other features will be apparent from the description and drawings, as well as from the claims.
KURZE BESCHREIBUNG DER ZEICHNUNGEN BRIEF DESCRIPTION OF THE DRAWINGS
1 zeigt ein Blockdiagramm eines exemplarischen Systems für das Aufnehmen und Wiedergeben stereoskopischer Panoramen in einer 3D-Virtual-Reality(VR)-Umgebung. 1 Figure 12 shows a block diagram of an exemplary system for recording and playing back stereoscopic panoramas in a 3D Virtual Reality (VR) environment.
2 zeigt ein Diagramm, das ein exemplarisches Kameraträgersystem zeigt, das so konfiguriert ist, dass es Bilder einer Szene für die Verwendung beim Erzeugen stereoskopischer Panoramen aufnimmt. 2 FIG. 12 is a diagram showing an exemplary camera support system configured to capture images of a scene for use in creating stereoscopic panoramas. FIG.
3 zeigt ein Diagramm, das ein anderes exemplarisches Kameraträgersystem zeigt, das so konfiguriert ist, dass es Bilder einer Szene für die Verwendung beim Erzeugen stereoskopischer Panoramen aufnimmt. 3 FIG. 12 is a diagram showing another exemplary camera support system configured to capture images of a scene for use in creating stereoscopic panoramas. FIG.
4A bis 4D zeigen Diagramme, die ein Beispiel eines mehrstufigen Kameraträgersystems und zugehöriger Komponenten darstellen. 4A to 4D show diagrams illustrating an example of a multi-level camera support system and associated components.
5 zeigt ein Diagramm, das Sichtfeldachsen für Kameras in einem unteren kreisförmigen Umfang des Kameragehäuses eines mehrstufigen Kameraträgersystems darstellt. 5 Fig. 10 is a diagram illustrating FOV for cameras in a lower circular circumference of the camera body of a multi-stage camera support system.
6 zeigt ein Diagramm, das Sichtfeldachsen für Kameras in einer oberen mehrflächigen Kappe eines Kameragehäuses eines mehrstufigen Kameraträgersystems darstellt. 6 FIG. 12 is a diagram illustrating FOV for cameras in an upper multi-face cap of a camera body of a multi-stage camera carrier system. FIG.
7 zeigt ein Diagramm, das ein exemplarisches VR-Gerät veranschaulicht. 7 shows a diagram illustrating an exemplary VR device.
8 zeigt eine exemplarische Grafik, die eine Reihe von Kameras und Nachbarn in Abhängigkeit von einem Kamerasichtfeld veranschaulicht. 8th shows an exemplary graph illustrating a series of cameras and neighbors in response to a camera field of view.
9 zeigt eine exemplarische Grafik, die ein interpoliertes Sichtfeld in Abhängigkeit von einem Kamerasichtfeld veranschaulicht. 9 shows an exemplary graph illustrating an interpolated field of view in response to a camera field of view.
10 zeigt eine exemplarische Grafik, die die Auswahl einer Konfiguration für ein Kameraträgersystem veranschaulicht. 10 shows an exemplary graph illustrating the selection of a configuration for a camera carrier system.
11 zeigt eine Grafik, die eine exemplarische Beziehung veranschaulicht, die verwendet werden kann, um eine Mindestanzahl von Kameras gemäß einem vorher festgelegten Trägersystemdurchmesser zu bestimmen. 11 Figure 10 is a graph illustrating an exemplary relationship that may be used to determine a minimum number of cameras according to a predetermined carrier system diameter.
12A–B zeigen Strichzeichnungsbeispiele der Verzerrung, die während der Bildaufnahme auftreten kann. 12A -B show line drawing examples of the distortion that can occur during image acquisition.
13A–B zeigen Beispiele von Strahlen, die während der Sammlung eines Panoramabildes aufgenommen wurden. 13A -B show examples of rays taken during the collection of a panorama image.
14A–B veranschaulichen die in 13A–B beschriebene Verwendung der Approximierung planarer perspektivischer Projektion. 14A -B illustrate the in 13A -B described use of the approximation of planar perspective projection.
15A–C veranschaulichen Beispiele approximierter planarer perspektivischer Projektion, die auf Ebenen eines Bildes angewandt wurde. 15A -C illustrate examples of approximated planar perspective projection applied to planes of an image.
16A–B veranschaulichen Beispiele der Einführung einer vertikalen Parallaxe. 16A -B illustrate examples of the introduction of vertical parallax.
17A–B zeigen exemplarische Punkte eines Koordinatensystems, das zum Veranschaulichen von Punkten in einem 3D-Panorama verwendet werden kann. 17A Figure 3B shows exemplary points of a coordinate system that can be used to illustrate points in a 3D panorama.
18 stellt eine projizierte Ansicht des Punkts dar, der in 17A–17B gezeigt wird. 18 represents a projected view of the point in 17A - 17B will be shown.
19 veranschaulicht Strahlen, die in einem omnidirektionalen Stereobild mithilfe der in dieser Offenbarung beschriebenen Panoramabildgebungstechniken aufgenommen werden. 19 illustrates rays captured in an omnidirectional stereo image using the panoramic imaging techniques described in this disclosure.
20 zeigt eine Grafik, die eine maximale vertikale Parallaxe veranschaulicht, die durch Punkte im 3D-Raum verursacht wird. 20 shows a graph illustrating a maximum vertical parallax caused by points in 3D space.
21 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses zum Erstellen eines Stereo-Panoramabilds abbildet. 21 FIG. 10 is a flowchart depicting one embodiment of a process for creating a stereo panoramic image. FIG.
22 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses zum Aufnehmen eines Stereo-Panoramabilds abbildet. 22 FIG. 12 is a flow chart depicting one embodiment of a process for capturing a stereo panoramic image. FIG.
23 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses zum Wiedergeben von Panoramabildern in einem am Kopf befestigten Anzeigegerät abbildet. 23 FIG. 12 is a flow chart depicting one embodiment of a process for rendering panoramic images in a head-mounted display device. FIG.
24 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses zum Bestimmen von Bildgrenzen abbildet. 24 FIG. 10 is a flow chart depicting one embodiment of a process for determining image boundaries. FIG.
25 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses zum Erzeugen von Videoinhalten abbildet. 25 FIG. 12 is a flow chart depicting one embodiment of a process for generating video content. FIG.
26 zeigt ein Beispiel eines Computergeräts und eines mobilen Computergeräts, die zur Implementierung der hier beschriebenen Techniken verwendet werden können. 26 Figure 14 shows an example of a computing device and a mobile computing device that may be used to implement the techniques described herein.
Gleiche Bezugszeichen in den verschiedenen Zeichnungen verweisen auf gleiche Elemente. Like reference numerals in the various drawings refer to like elements.
AUSFÜHRLICHE BESCHREIBUNG DETAILED DESCRIPTION
Das Erstellen von Panoramabildern beinhaltet im Allgemeinen das Aufnehmen von Bildern oder Videos einer umgebenden dreidimensionalen (3D) Szene mithilfe einer einzelnen Kamera oder einer Reihe von Kameras zum Beispiel in einem Kameraträgersystem. Bei Verwendung eines Kameraträgersystems, an dem mehrere Kameras angebracht sind, kann jede Kamera synchronisiert und so konfiguriert werden, dass sie Bilder zu einem bestimmten Zeitpunkt aufnimmt. Das erste von der jeweiligen Kamera aufgenommene Einzelbild kann zum Beispiel in ungefähr derselben Zeit aufgenommen werden, zu der die zweiten, dritten und vierten Kameras entsprechende erste Einzelbilder aufnehmen. Die Bildaufnahme kann auf simultane Weise fortgesetzt werden, bis die Szene ganz oder teilweise aufgenommen ist. Obgleich viele der Implementierungen in Bezug auf eine Kamera beschrieben sind, können die Implementierungen stattdessen in Bezug auf Bildsensoren oder in Bezug auf Kameragehäuse (die Bildsensoren beinhalten können) beschrieben werden. Creating panoramic images generally involves capturing images or videos of a surrounding three-dimensional (3D) scene using a single camera or a series of cameras, for example, in a camera-carrier system. When using a camera-carrier system that has multiple cameras attached, each camera can be synchronized and configured to take pictures at a specific time. For example, the first frame captured by the respective camera may be captured in approximately the same time as the second, third, and fourth cameras receive corresponding first frames. The image acquisition can be continued in a simultaneous manner until the scene is completely or partially recorded. Although many of the implementations are described with respect to a camera, the implementations may instead be described in terms of image sensors or with respect to camera housings (which may include image sensors).
Kameraträgersystems, an denen mehrere Kameras angebracht sind, können so konfiguriert werden, dass sie bestimmte Winkel einer Szene aufnehmen. Kameras, die am Kameraträgersystem angebracht sind, können zum Beispiel in einem bestimmten Winkel ausgerichtet sein und alle (oder zumindest ein Teil der) Inhalte, die von diesem Winkel aus aufgenommen werden, können verarbeitet werden, um ein vollständiges Panorama einer bestimmten Szene zu erzeugen. Camera carrier systems that have multiple cameras attached can be configured to capture specific angles of a scene. For example, cameras mounted on the camera support system may be oriented at a certain angle and all (or at least a portion of) the contents taken from this angle may be processed to produce a complete panorama of a particular scene.
In einigen Implementierungen kann jede der Kameras in verschiedenen Winkeln ausgerichtet sein, um verschiedene Winkel der Szene aufzunehmen. In dem Fall, dass nur ein Teil der Szene aufgenommen wird oder die Szene ganz oder teilweise Verzerrungen beinhaltet, kann eine Reihe von Prozessen durchgeführt werden, um jegliche fehlenden, beschädigten oder verzerrten Inhalte aus dem Panorama zu interpolieren oder zu konfigurieren. In some implementations, each of the cameras may be oriented at different angles to capture different angles of the scene. In the event that only a portion of the scene is captured or the scene contains some or all of the distortions, a number of processes can be performed to interpolate or configure any missing, corrupted or distorted content from the panorama.
Die folgende Offenbarung beschreibt eine Reihe von Vorrichtungen und Verfahren zum Aufnehmen, Verarbeiten, Korrigieren und Wiedergeben von 3D-Panoramainhalten für die Zwecke der Anzeige dieser Inhalte in einem am Kopf befestigten Anzeigegerät (HMD) in einer 3D-Virtual-Reality(VR)-Umgebung. Der Verweis auf virtuelle Realität (Virtual-Reality) kann außerdem erweiterte Realität (Augmented-Reality) beinhalten oder sein. In einigen Implementierungen kann das Kameraträgersystem mehrere Stufen von Kameras beinhalten, um fehlende Teile einer Szene zu verringern oder zu beseitigen und Interpolation zu verringern. In einigen Implementierungen kann das Kameraträgersystem zum Beispiel eine untere Stufe von sechzehn Kameras und eine obere Stufe von sechs Kameras beinhalten. In einigen Implementierungen ist das Verhältnis der Kameras auf der unteren Ebene (oder Stufe) zu den Kameras auf der oberen Ebene (oder Stufe) größer als 2:1, jedoch kleiner als 3:1 (z. B. 2,67:1). Die Kameras können in verschiedenen Winkeln ausgerichtet sein, sodass jede verschiedene Inhalte aufnimmt, die verarbeitet werden können, um ein vollständiges Panorama einer bestimmten Szene zu erzeugen. Das Verhältnis bei den Kameras kann wichtig sein, um 360°-Videos mit richtiger Tiefe, Bildschärfe usw. aufzunehmen und gleichzeitig die Anzahl der Kameras und den Umfang der Bildverarbeitung zu verringern oder zu minimieren. The following disclosure describes a number of devices and methods for capturing, processing, correcting, and displaying 3D panoramic content for the purpose of displaying these contents in a head-mounted display (HMD) in a 3D virtual reality (VR) environment , The reference to virtual reality may also include or be augmented reality. In some implementations, the camera support system may include multiple stages of cameras to reduce or eliminate missing parts of a scene and reduce interpolation. For example, in some implementations, the camera carrier system may include a lower level of sixteen cameras and an upper level of six cameras. In some implementations, the ratio of the lower level (or level) cameras to the upper level (or level) cameras is greater than 2: 1, but less than 3: 1 (eg, 2.67: 1). , The cameras can be oriented at different angles so that each receives different contents that can be processed to create a complete panorama of a particular scene. The ratio of the cameras can be important to capture 360 ° videos with proper depth, sharpness, etc., while reducing or minimizing the number of cameras and the amount of image processing.
1 zeigt ein Blockdiagramm eines exemplarischen Systems 100 für das Aufnehmen und Wiedergeben stereoskopischer Panoramen in einer 3D-Virtual-Reality(VR)-Umgebung. In dem exemplarischen System 100 kann ein Kameraträgersystem 102 Bilder aufnehmen, lokal speichern (z. B. in einem permanenten oder Wechselspeicher) und/oder über ein Netzwerk 104 bereitstellen oder alternativ dazu die Bilder zur Analyse und Verarbeitung direkt einem Bildverarbeitungssystem 106 bereitstellen. In einigen Implementierungen des Systems 100 kann ein Mobilgerät 108 als Kameraträgersystem 102 fungieren, um Bilder im gesamten Netzwerk 104 bereitzustellen. Sobald die Bilder aufgenommen sind, kann das Bildverarbeitungssystem 106 eine Reihe von Berechnungen und Prozessen bei den Bildern durchführen und die verarbeiteten Bilder zum Beispiel einem am Kopf befestigten Anzeigegerät (HMD) 110 für die Wiedergabe über Netzwerk 104 bereitstellen. In einigen Implementierungen kann das Bildverarbeitungssystem 106 im Kameraträgersystem 102 und/oder im HMD-Gerät 110 enthalten sein. In einigen Implementierungen kann das Bildverarbeitungssystem 106 außerdem die verarbeiteten Bilder dem Mobilgerät 108 und/oder dem Computergerät 112 für die Wiedergabe, Speicherung oder weitere Verarbeitung bereitstellen. 1 shows a block diagram of an exemplary system 100 for recording and playing stereoscopic panoramas in a 3D Virtual Reality (VR) environment. In the exemplary system 100 can a camera carrier system 102 Take pictures, store them locally (eg in a permanent or removable storage) and / or via a network 104 or, alternatively, the images for analysis and processing directly to an image processing system 106 provide. In some implementations of the system 100 can be a mobile device 108 as a camera carrier system 102 act to pictures throughout the network 104 provide. Once the pictures are taken, the image processing system can 106 perform a series of calculations and processes on the images and the processed images, for example, a head-mounted display (HMD) 110 for playback via network 104 provide. In some implementations, the image processing system may 106 in the camera carrier system 102 and / or in the HMD device 110 be included. In some implementations, the image processing system may 106 also the processed images to the mobile device 108 and / or the computing device 112 for playback, storage or further processing.
Das HMD-Gerät 110 kann ein Virtual-Reality-Headset, eine Brille, ein Augenstück oder ein anderes tragbares Gerät sein, das in der Lage ist, Virtual-Reality-Inhalte anzuzeigen. Im Betriebszustand kann das HMD-Gerät 110 eine VR-Anwendung (nicht dargestellt) ausführen, die empfangene und/oder verarbeitete Bilder für einen Benutzer wiedergeben kann. In einigen Implementierungen kann die VR-Anwendung von einem oder mehreren in 1 dargestellten Geräten 106, 108 oder 112 gehostet werden. In einem Beispiel kann das HMD-Gerät 110 außerdem eine Videowiedergabe einer Szene bereitstellen, die vom Kameraträgersystem 102 aufgenommen wurde. In einem anderen Beispiel kann das HMD-Gerät 110 die Wiedergabe von Standbildern bereitstellen, die in einer einzelnen Panoramaszene zusammengesetzt sind. The HMD device 110 may be a virtual reality headset, glasses, eye piece, or other portable device capable of displaying virtual reality content. In operation, the HMD device can 110 execute a VR application (not shown) that can render received and / or processed images to a user. In some implementations, the VR application may consist of one or more in 1 illustrated devices 106 . 108 or 112 be hosted. In one example, the HMD device may 110 also provide video playback of a scene from the camera carrier system 102 has been recorded. In another example, the HMD device may 110 provide playback of still images composed in a single panorama scene.
Das Kameraträgersystem 102 kann für die Verwendung als Kamera (die auch als Aufnahmegerät bezeichnet werden kann) und/oder Verarbeitungsgerät konfiguriert sein, um Bilddaten für das Wiedergeben von Inhalten in einer VR-Umgebung zu sammeln. Obgleich das Kameraträgersystem 102 hierin als Blockdiagramm dargestellt ist, das mit bestimmten Funktionen beschrieben wird, kann das Kameraträgersystem 102 die Form einer beliebigen der Implementierungen annehmen, die in 2–6 beschrieben sind, und kann zusätzliche Funktionen aufweisen, die für die Kameraträgersystems in dieser gesamten Offenbarung beschrieben sind. Zur Einfachheit der Beschreibung der Funktionen des Systems 100 zeigt 1 zum Beispiel das Kameraträgersystem 102, ohne dass Kameras zum Aufnehmen von Bildern rund um das Trägersystem angeordnet sind. Andere Implementierungen des Kameraträgersystems 102 können jede Anzahl von in mehreren Stufen angeordneten Kameras beinhalten, die rund um den Umfang eines kreisförmigen Kameraträgersystems, wie z. B. Trägersystem 102 angeordnet sind. The camera carrier system 102 may be configured for use as a camera (which may also be referred to as a capture device) and / or processing device to collect image data for rendering content in a VR environment. Although the camera carrier system 102 Shown herein as a block diagram that is described with particular functions may be the camera support system 102 take the form of any of the implementations in 2 - 6 and may have additional functions described for the camera support system throughout this disclosure. For simplicity of description of the functions of the system 100 shows 1 for example the camera carrier system 102 without cameras being arranged for taking pictures around the support system. Other implementations of the camera carrier system 102 may include any number of multi-stage cameras mounted around the circumference of a circular camera support system, such as a camera. B. carrier system 102 are arranged.
Wie in 1 dargestellt, beinhaltet das Kameraträgersystem 102 eine Reihe von Kameras 139 und ein Kommunikationssystem 132. Die Kameras 139 können eine einzelne Standbildkamera oder eine einzelne Videokamera beinhalten. In einigen Implementierungen können die Kameras 139 mehrere Standbildkameras oder mehrere Videokameras beinhalten, die gemäß einigen Ausführungsformen nebeneinander entlang der äußeren Peripherie (z. B. Ring) des Trägersystems 102 in einer oder mehreren Stufen angeordnet (z. B. platziert) sind. Die Kameras 139 können eine Videokamera, ein Bildsensor, eine stereoskope Kamera, eine Infrarotkamera und/oder ein Mobilgerät sein. Das Kommunikationssystem 132 kann verwendet werden, um Bilder, Anweisungen und/oder andere mit der Kamera verbundene Inhalte hochzuladen und herunterzuladen. Die Kommunikation kann drahtgebunden oder drahtlos und über ein privates oder öffentliches Netzwerk erfolgen. As in 1 shown includes the camera carrier system 102 a series of cameras 139 and a communication system 132 , The cameras 139 may include a single still camera or a single video camera. In some implementations, the cameras can 139 a plurality of still cameras or multiple video cameras that, in some embodiments, are juxtaposed along the outer periphery (eg, ring) of the carrier system 102 arranged in one or more stages (eg, placed). The cameras 139 may be a video camera, an image sensor, a stereoscopic camera, an infrared camera and / or a mobile device. The communication system 132 can be used to upload and download images, instructions, and / or other content associated with the camera. The communication may be wired or wireless and via a private or public network.
Das Kameraträgersystem 102 kann so konfiguriert sein, dass es als stationäres Trägersystem oder drehbares Trägersystem fungiert. Jede Kamera am Trägersystem kann von einer Mitte der Drehung des Trägersystems versetzt angeordnet (z. B. platziert) sein. Das Kameraträgersystem 102 kann so konfiguriert sein, dass es sich um 360 Grad dreht, um zu schwenken und zum Beispiel eine ganze oder einen Teil einer 360-Grad-Ansicht einer Szene aufzunehmen. In einigen Implementierungen kann das Trägersystem 102 so konfiguriert sein, dass es in einer stationären Position und in einer solchen Konfiguration betrieben wird, dass zusätzliche Kameras zum Trägersystem hinzugefügt werden können, um zusätzliche Blickwinkel nach außen einer Szene aufzunehmen. The camera carrier system 102 can be configured to function as a stationary carrier system or rotatable carrier system. Each camera on the carrier system may be offset (eg, placed) from a center of rotation of the carrier system. The camera carrier system 102 can be configured to rotate 360 degrees to pan and, for example, capture all or part of a 360-degree view of a scene. In some implementations, the carrier system may 102 be configured to operate in a stationary position and in a configuration such that additional cameras may be added to the carrier system to receive additional outward viewing angles of a scene.
In einigen Implementierungen beinhaltet das Kameraträgersystem 102 mehrere digitale Videokameras, die Seite an Seite oder Rücken an Rücken (z. B. in 3 dargestellt) angeordnet sind, sodass deren Objektive jeweils in eine Richtung radial nach außen zeigen, um einen anderen Teil der umgebenden Szene oder Umgebung zu sehen. In einigen Implementierungen sind die mehreren digitalen Videokameras in einer tangentialen Konfiguration mit einer Blickrichtung tangential zum kreisförmigen Kameraträgersystem 102 angeordnet. Das Kameraträgersystem 102 kann zum Beispiel mehrere digitale Videokameras beinhalten, die so angeordnet sind, dass deren Objektive jeweils in eine Richtung radial nach außen zeigen, während sie tangential zu einer Basis des Trägersystems angeordnet sind. Die digitalen Videokameras können so ausgerichtet sein, dass sie Inhalte in verschiedenen Richtungen aufnehmen, um verschiedene abgewinkelte Teile der umgebenden Szene zu sehen. In some implementations, the camera carrier system includes 102 several digital video cameras working side by side or back to back (eg in 3 shown) so that their lenses each face radially outward in one direction to see another part of the surrounding scene or environment. In some implementations, the plurality of digital video cameras are in a tangential configuration with a line of sight tangent to the circular camera support system 102 arranged. The camera carrier system 102 For example, it may include a plurality of digital video cameras arranged so that their lenses each face radially outward while being disposed tangentially to a base of the carrier system. The digital video cameras may be oriented to receive content in different directions to view different angled portions of the surrounding scene.
In einigen Implementierungen kann das Kameraträgersystem 102 mehrere Stufen digitaler Videokameras beinhalten. Das Kameraträgersystem kann zum Beispiel eine untere Stufe beinhalten, in der die digitalen Videokameras Seite an Seite oder Rücken an Rücken angeordnet sind, und außerdem eine obere Stufe mit zusätzlichen Kameras beinhalten, die über den Kameras in Bezug auf die Kameras der unteren Stufe angeordnet sind. In einigen Implementierungen zeigen die Kameras der oberen Stufe vom Kameraträgersystem 102 auf einer anderen Ebene nach außen als die Kameras der unteren Stufe. Die Kameras der oberen Stufe können zum Beispiel in einer Ebene rechtwinklig zu oder nahezu rechtwinklig zu den Kameras der unteren Stufe angeordnet sein, wobei jede von der Mitte der unteren Stufe nach außen zeigen kann. In einigen Implementierungen kann sich die Anzahl der Kameras auf der unteren Stufe von der Anzahl der Kameras auf der oberen Stufe unterscheiden. In some implementations, the camera carrier system 102 include several levels of digital video cameras. The camera support system may include, for example, a lower stage in which the digital video cameras are arranged side by side or back to back, and also include an upper stage with additional cameras positioned above the cameras with respect to the lower stage cameras. In some implementations, the upper level cameras are pointing from the camera carrier system 102 on a different level outward than the lower-level cameras. For example, the upper-stage cameras may be arranged in a plane perpendicular to or nearly perpendicular to the lower-stage cameras, each of which may face outward from the center of the lower stage. In some implementations, the number of lower-level cameras may differ from the number of upper-level cameras.
In einigen Implementierungen können Bilder von den Kameras auf der unteren Stufe in benachbarten Paaren auf dem Kameraträgersystem 102 verarbeitet werden. In dieser Konfiguration ist jede erste Kamera in jedem Satz von benachbarten Kameras tangential zu einem kreisförmigen Pfad der Kameraträgersystembasis angeordnet (z. B. platziert) und in eine Richtung (z. B. mit dem Kameraobjektiv) nach links zeigend ausgerichtet. Jede zweite Kamera im jedem Satz von benachbarten Kameras ist tangential zum kreisförmigen Pfad der Kameraträgersystembasis angeordnet (z. B. platziert) und in eine Richtung (z. B. mit dem Kameraobjektiv) nach rechts zeigend ausgerichtet. Kameras auf der oberen Stufe können außerdem in Bezug aufeinander ähnlich angeordnet sein. In einigen Implementierungen sind Kameras, die benachbart sind, Nachbarn (d. h. nebeneinander) auf derselben Ebene oder Stufe angeordnet. In some implementations, images from the lower-level cameras may be in adjacent pairs on the camera-carrier system 102 are processed. In this configuration, each first camera in each set of adjacent cameras is located tangentially to a circular path of the camera support system base (eg, placed) and oriented in a direction (eg, with the camera lens) to the left. Each second camera in each set of adjacent cameras is positioned (eg, placed) tangent to the circular path of the camera support system base and oriented in a direction (eg, with the camera lens) to the right. Cameras on the upper stage may also be similarly arranged with respect to each other. In some implementations, cameras that are adjacent, neighbors (ie side by side) are located at the same level or level.
Exemplarische Einstellungen für die Kameras, die am Kameraträgersystem 102 verwendet werden, können einen progressiven Abtastungsmodus mit etwa 60 Einzelbildern pro Sekunde beinhalten (d. h. einen Modus, bei dem jede Rasterlinie, statt jede zweite Rasterlinie, wie beim Standard-Aufzeichnungsmodus der meisten Videokameras, abgetastet wird, um jedes Einzelbild des Videos zu produzieren). Außerdem kann jede der Kameras mit identischen (oder ähnlichen) Einstellungen konfiguriert sein. Das Konfigurieren jeder Kamera mit identischen (oder ähnlichen) Einstellungen kann den Vorteil bieten, Bilder aufzunehmen, die nach der Aufnahme auf eine gewünschte Weise zusammengesetzt werden können. Exemplarische Einstellungen können die Einstellung einer oder mehrerer der Kameras auf dieselben Vergrößerungsstufe, dieselbe Bildschärfe, dieselbe Belichtung und dieselbe Belichtungszeit sowie die Einstellung der Kameras beinhalten, sodass die Stabilisierungsfunktionen des Weißabgleichs entweder korreliert oder ausgeschaltet sind. Exemplary settings for the cameras attached to the camera carrier system 102 may include a progressive scan mode of about 60 frames per second (ie, a mode in which each raster line, rather than every other raster line, as in the standard capture mode of most video cameras, is scanned to produce each frame of the video). In addition, each of the cameras can be configured with identical (or similar) settings. Configuring each camera with identical (or similar) settings can provide the advantage of capturing images that can be reassembled in a desired manner after shooting. Example settings may include adjusting one or more of the cameras to the same magnification, the same focus, the same exposure and exposure time, and the setting of the cameras so that the stabilization functions of the white balance are either correlated or turned off.
In einigen Implementierungen kann das Kameraträgersystem 102 kalibriert werden, bevor es zum Aufnehmen eines oder mehrerer Bilder oder Videos verwendet wird. Jede Kamera am Kameraträgersystem 102 kann zum Beispiel so kalibriert und/oder konfiguriert sein, das sie ein Panoramavideo aufnimmt. Die Einstellungen können das Konfigurieren des Trägersystems beinhalten, sodass es zum Beispiel mit einer bestimmten Drehgeschwindigkeit um einen 360-Grad-Schwenk mit einem breiten Sichtfeld und in Richtung mit oder entgegen dem Uhrzeigersinn betrieben wird. In einigen Implementierungen können die Kameras am Trägersystem 102 so konfiguriert sein, dass sie zum Beispiel ein Einzelbild pro Grad eines 360-Grad-Schwenks eines Aufnahmepfads rund um eine Szene aufnehmen. In einigen Implementierungen können die Kameras am Trägersystem 102 so konfiguriert sein, dass sie zum Beispiel mehrere Einzelbilder pro Grad eines 360-Grad-Schwenks (oder weniger) eines Aufnahmepfads rund um eine Szene aufnehmen. In einigen Implementierungen können die Kameras am Trägersystem 102 so konfiguriert sein, dass sie zum Beispiel mehrere Einzelbilder rund um einen Schwenk eines Aufnahmepfads rund um eine Szene aufnehmen, ohne speziell gemessene Einzelbilder pro Grad aufnehmen zu müssen. In some implementations, the camera carrier system 102 calibrated before it is used to capture one or more images or videos. Every camera on the camera carrier system 102 For example, it may be calibrated and / or configured to take a panoramic video. The adjustments may include configuring the carrier system to operate, for example, at a certain rotational speed about a 360 degree pan with a wide field of view and in the counterclockwise or counterclockwise direction. In some implementations, the cameras may be on carrier system 102 be configured to record, for example, one frame per degree of 360 degree panning of a recording path around a scene. In some implementations, the cameras may be on the carrier system 102 configured to capture, for example, multiple frames per degree of 360 degree panning (or less) of a recording path around a scene. In some implementations, the cameras may be on the carrier system 102 be configured to capture, for example, multiple frames around a pan of a recording path around a scene without having to take specially-measured frames per degree.
In einigen Implementierungen können die Kameras so konfiguriert (d. h. eingerichtet) sein, dass sie synchron funktionieren, um Videos von den Kameras am Trägersystem zu einem bestimmten Zeitpunkt aufzunehmen. In einigen Implementierungen können die Kameras so konfiguriert sein, dass sie synchron funktionieren, um bestimmte Teile des Videos von einer oder mehreren der Kameras über einen Zeitraum aufzunehmen. Ein anderes Beispiel des Kalibrierens des Kameraträgersystems kann das Konfigurieren beinhalten, wie eingehende Bilder gespeichert werden. Eingehende Bilder können zum Beispiel als individuelle Einzelbilder oder Videos (z. B. .avi-Dateien, .mpg-Dateien) gespeichert werden, zudem können gespeicherte Bilder im Internet, auf einen anderen Server oder ein anderes Gerät hochgeladen oder lokal mit jeder Kamera am Kameraträgersystem 102 gespeichert werden. In einigen Implementierungen können eingehende Bilder als codiertes Video gespeichert werden. In some implementations, the cameras may be configured (ie, configured) to operate synchronously to capture video from the cameras on the carrier system at a particular time. In some implementations, the cameras may be configured to operate synchronously to capture certain portions of the video from one or more of the cameras over a period of time. Another example of calibrating the camera support system may include configuring how incoming images are stored. For example, incoming images can be saved as individual still images or videos (such as .avi files, .mpg files), and saved images can be uploaded to the Internet, to another server or other device, or locally to any camera camera support system 102 get saved. In some implementations, incoming images may be stored as encoded video.
Das Bildverarbeitungssystem 106 beinhaltet ein Interpolationsmodul 114, ein Aufnahmekorrekturmodul 116 und ein Zusammensetzungsmodul 118. Das Interpolationsmodul 116 stellt Algorithmen dar, die verwendet werden können, um Teile der digitalen Bilder und Videos abzutasten und um eine Anzahl interpolierter Bilder zu bestimmen, die wahrscheinlich zwischen nebeneinander liegenden Bildern auftreten, die zum Beispiel vom Kameraträgersystem 102 aufgenommen werden. In einigen Implementierungen kann das Interpolationsmodul 114 so konfiguriert sein, dass es interpolierte Bildfragmente, Bildteile und/oder vertikale oder horizontale Bildstreifen zwischen nebeneinander liegenden Bildern bestimmt. In einigen Implementierungen kann das Interpolationsmodul 114 so konfiguriert sein, dass es Flussfelder (und/oder Flussvektoren) zwischen verbundenen Pixeln in nebeneinander liegenden Bildern bestimmt. Flussfelder können verwendet werden, um sowohl Transformationen, denen die Bilder unterzogen wurden, als auch die Verarbeitung von Bildern, die Transformationen unterzogen wurden, zu kompensieren. Flussfelder können zum Beispiel verwendet werden, um eine Transformation eines bestimmten Pixelrasters eines erhaltenen Bildes zu kompensieren. In einigen Implementierungen kann das Interpolationsmodul 114 durch Interpolation der umgebenden Bilder eines oder mehrere Bilder erzeugen, die nicht Teil der aufgenommenen Bilder sind, und kann die erzeugten Bilder in die aufgenommenen Bilder verschachteln, um zusätzliche Virtual-Reality-Inhalte für eine Szene zu erzeugen. The image processing system 106 includes an interpolation module 114 , a recording correction module 116 and a composition module 118 , The interpolation module 116 Figure 10 illustrates algorithms that may be used to sample portions of the digital images and video and to determine a number of interpolated images that are likely to occur between adjacent images, such as the camera support system 102 be recorded. In some implementations, the interpolation module may 114 be configured to determine interpolated image fragments, image portions, and / or vertical or horizontal image strips between adjacent images. In some implementations, the interpolation module may 114 be configured to determine flow fields (and / or flow vectors) between connected pixels in adjacent images. Flow fields can be used to compensate for both transformations to which the images have been subjected and the processing of images that have undergone transformations. For example, flow fields may be used to compensate for a transformation of a particular pixel raster of an obtained image. In some implementations, the interpolation module may 114 by interpolating the surrounding images, create one or more images that are not part of the captured images, and can interleave the generated images into the captured images to produce additional virtual reality content for a scene.
Das Aufnahmekorrekturmodul 116 kann so konfiguriert sein, dass es aufgenommene Bilder durch Kompensieren einer nicht idealen Aufnahmeeinrichtung korrigiert. Exemplarische Aufnahmeeinrichtungen können, beispielsweise ohne Einschränkung, eine kreisförmige Kamerabewegungsbahn, eine parallele (Kamera-)Hauptachse, eine Blickrichtung, die rechtwinklig zur Kamerabewegungsbahn verläuft, eine Blickrichtung, die tangential zur Kamerabewegungsbahn verläuft und/oder andere Aufnahmebedingungen beinhalten. In einigen Implementierungen kann das Aufnahmekorrekturmodul 116 so konfiguriert sein, dass es eine oder beide der nicht kreisförmigen Kamerabewegungsbahnen während der Bildaufnahme und/oder eine nicht parallele Hauptachse während der Bildaufnahme kompensiert. The recording correction module 116 may be configured to correct captured images by compensating a non-ideal capture device. Exemplary receptacles may include, for example, without limitation, a circular camera trajectory, a parallel (camera) main axis, a viewing direction perpendicular to the camera trajectory, a viewing direction tangent to the camera trajectory, and / or other shooting conditions. In some implementations, the acquisition correction module may 116 be configured to compensate for one or both of the non-circular camera trajectories during image capture and / or a non-parallel major axis during imaging.
Das Aufnahmekorrekturmodul 116 kann so konfiguriert sein, dass es einen bestimmten Satz von Bildern anpasst, um Inhalte zu kompensieren, die mithilfe mehrerer Kameras aufgenommen werden, wobei die Kameratrennung größer als etwa 30 Grad ist. Wenn der Abstand zwischen Kameras zum Beispiel 40 Grad ist, kann das Aufnahmekorrekturmodul 116 jegliche fehlenden Inhalte in einer bestimmten Szene auf Basis von zu wenig Kameraerfassungsbereich berücksichtigen, indem es Inhalte von zusätzlichen Kameras sammelt oder indem es die fehlenden Inhalte interpoliert. The recording correction module 116 can be configured to adjust a particular set of images to compensate for content captured by multiple cameras, with the camera separation greater than about 30 degrees. For example, if the distance between cameras is 40 degrees, the capture correction module may 116 Consider any missing content in a particular scene based on insufficient camera coverage by collecting content from additional cameras or by interpolating the missing content.
In einigen Implementierungen kann das Aufnahmekorrekturmodul 116 auch so konfiguriert sein, dass es den Satz von Bildern anpasst, um eine Kamerafalschausrichtung aufgrund von Kamerahaltungsfehlern oder dergleichen zu kompensieren. Wenn Kamerahaltungsfehler (z. B. Fehler aufgrund der Ausrichtung und Position der Kamera) während der Bildaufnahme auftreten, kann das Modul 116 zum Beispiel zwei oder mehr Spalten von Pixeln aus mehreren Einzelbildern mischen, um Artefakte, zum Beispiel Artefakte aufgrund schlechter Belichtung (oder Belichtungsänderungen von Einzelbild zu Einzelbild) und/oder aufgrund einer Falschausrichtung einer oder mehrerer Kameras zu entfernen. Das Zusammensetzungsmodul 118 kann so konfiguriert sein, dass es stereoskope 3D-Bilder auf Basis definierter, erhaltener und/oder interpolierter Bilder erzeugt. Das Zusammensetzungsmodul 118 kann so konfiguriert sein, dass es Pixel und/oder Bildstreifen aus mehreren Bildteilen mischt/zusammensetzt. Das Zusammensetzen kann auf zum Beispiel durch das Interpolationsmodul 114 bestimmten Flussfeldern basieren. Das Zusammensetzungsmodul 118 kann (vom Interpolationsmodul 114) interpolierte Bildeinzelbilder empfangen, die nicht Teil des Satzes von Bildern sind, und Einzelbilder in den Satz von Bildern verschachteln. Die Verschachtelung kann das Modul 118 beinhalten, das die Einzelbilder und den Satz von Bildern zumindest teilweise auf Basis des optischen Flusses zusammensetzt, der durch das Interpolationsmodul 114 erzeugt wird. In some implementations, the acquisition correction module may 116 may also be configured to adjust the set of images to compensate for camera misalignment due to camera failure errors or the like. If camera errors (such as errors due to camera orientation and position) occur during image capture, the module may fail 116 For example, mixing two or more columns of pixels from multiple frames to remove artifacts, such as artifacts due to poor exposure (or exposure changes from frame to frame), and / or due to misalignment of one or more cameras. The composition module 118 can be configured to produce stereoscopic 3D images based on defined, preserved, and / or interpolated images. The composition module 118 can be configured to mix / assemble pixels and / or image strips of multiple image parts. The composition can be based on, for example, the interpolation module 114 based on specific flow fields. The composition module 118 can (from the interpolation module 114 ) receive interpolated image frames that are not part of the set of images and interleave frames into the set of images. The nesting can be the module 118 which composes the frames and the set of pictures based at least in part on the optical flow generated by the interpolation module 114 is produced.
Die zusammengesetzt Kombination kann verwendet werden, um ein Ominstereo-(z. B. omnidirektionales Stereo-)Panorama für die Anzeige in einem am Kopf befestigten VR-Anzeigegerät zu erzeugen. Die Einzelbilder können auf aufgenommenen Videostreams basieren, die aus einer Reihe benachbarter Paare von Kameras gesammelt werden, die an einem bestimmten Trägersystem angeordnet sind. Dieses Trägersystem kann etwa 12 bis etwa 16 Kameras in einer ersten Stufe oder Ebene des Trägersystems, und 4 bis 8 Kameras in einer zweiten Stufe oder Ebene des Trägersystems beinhalten, wobei die zweite Stufe über der ersten Stufe positioniert ist. In einigen Implementierungen kann eine ungerade Anzahl von Kameras in jeder Stufe eines Trägersystems enthalten sein. In einigen Implementierungen beinhaltet das Trägersystem mehr als einen oder zwei Sätze von benachbarten Kameras. In einigen Implementierungen kann das Trägersystem so viele Sätze von benachbarten Kameras beinhalten, wie Seite an Seite am Trägersystem platziert werden können. In einigen Implementierungen kann das Zusammensetzungsmodul 118 Haltungsinformationen, die mindestens einem benachbarten Paar zugeordnet sind, verwenden, um einen Teil des Satzes von Bildern im Voraus zusammenzusetzen, bevor das Verschachteln durchgeführt wird. Benachbarte Paare an einem Kameraträgersystem sind nachfolgend zum Beispiel in Verbindung mit 3 ausdrücklicher dargestellt und beschrieben. The composite combination may be used to generate an omnostereoscopic (e.g., omnidirectional stereo) panorama for display in a head-mounted VR display device. The frames may be based on captured video streams collected from a series of adjacent pairs of cameras located on a particular carrier system. This carrier system may include about 12 to about 16 cameras in a first stage or plane of the carrier system, and 4 to 8 cameras in a second stage or plane of the carrier system, the second stage being positioned above the first stage. In some implementations, an odd number of cameras may be included in each stage of a carrier system. In some implementations, the carrier system includes more than one or two sets of adjacent cameras. In some implementations, the carrier system may include as many sets of adjacent cameras as can be placed side by side on the carrier system. In some implementations, the composition module may 118 Use attitude information associated with at least one adjacent pair to pre-assemble a portion of the set of images before interleaving is performed. Adjacent pairs on a camera carrier system are, for example, in connection with 3 shown and described in more detail.
In einigen Implementierungen kann die Verwendung optischer Flusstechniken zum Zusammensetzen von Bildern das Zusammensetzen aufgenommener Videoinhalte beinhalten. Diese optischen Flusstechniken können verwendet werden, um Zwischen-Videoinhalte zwischen bestimmten Videoinhalten zu erzeugen, die vorher mithilfe der Kamerapaare und/oder Einzelkameras aufgenommen wurden. Diese Technik kann als Möglichkeit verwendet werden, um ein Kontinuum der Kameras an einem kreisförmigen stationären Kameraträgersystem zu simulieren, die Bilder aufnehmen. Die simulierten Kameras können Inhalte ähnlich wie beim Schwenken einer einzelnen Kamera um eine Kreisform (z. B. einen Kreis, im Wesentlichen einen Kreis, ein kreisförmiges Muster) zum Aufnehmen von 360-Grad-Bildern aufnehmen, in der obigen Technik werden jedoch weniger Kameras tatsächlich am Trägersystem aufgestellt und das Trägersystem kann stationär sein. Die Fähigkeit, das Kontinuum der Kameras zu simulieren, bietet außerdem den Vorteil, Inhalte pro Einzelbild in einem Video (z. B. 360-Grad-Bilder beim Aufnehmen im Abstand von einem Bild pro Grad) aufzunehmen. In some implementations, the use of optical flow techniques to assemble images may involve composing captured video content. These optical flow techniques can be used to create intermediate video content between certain video content previously captured using camera pairs and / or single cameras. This technique can be used as a way to simulate a continuum of the cameras on a circular stationary camera support system taking pictures. The simulated cameras can capture contents similar to panning a single camera around a circular shape (eg, a circle, essentially a circle, a circular pattern) to take 360-degree images, but in the above technique, fewer cameras are used actually placed on the carrier system and the carrier system can be stationary. The ability to simulate the continuum of cameras also has the advantage of capturing content per frame in a video (eg, 360-degree images when shooting one frame apart per degree).
Der erzeugte Zwischen-Videoinhalt kann mithilfe eines optischen Flusses zum tatsächlichen aufgenommenen Videoinhalt zusammengesetzt werden, indem ein dichter Satz von Bildern (z. B. 360 Bildern mit einem Bild pro Grad) verwendet wird, wenn das Kameraträgersystem tatsächlich weniger als 360 Bilder aufgenommen hat. Wenn das kreisförmige Kameraträgersystem zum Beispiel 8 Kamerapaare (d. h. 16 Kameras) oder 16 nicht gepaarte Kameras beinhaltet, beträgt die Zahl der aufgenommenen Bilder ggf. nur 16 Bilder. Die optischen Flusstechniken können verwendet werden, um Inhalte zwischen den 16 Bildern zu simulieren, um 360-Grad-Videoinhalte bereitzustellen. The generated intermediate video content may be assembled to the actual recorded video content using an optical flow by using a dense set of images (eg 360 images with one image per degree) when the camera support system has actually taken fewer than 360 images. For example, if the circular camera support system includes 8 camera pairs (that is, 16 cameras) or 16 non-paired cameras, the number of pictures taken may only be 16 pictures. The optical flow techniques can be used to simulate content between the 16 images to provide 360-degree video content.
In einigen Implementierungen kann die Verwendung der optischen Flusstechniken die Interpolationseffizienz verbessern. Statt zum Beispiel 360 Bilder zu interpolieren, kann der optische Fluss zwischen jedem aufeinanderfolgenden Kamerapaar (z. B. [1-2], [2-3], [3-4]) berechnet werden. Bei den aufgenommenen 16 Bildern und den optischen Flüssen können das Interpolationsmodul 114 und/oder das Aufnahmekorrekturmodul 116 jedes Pixel in einer Zwischenansicht berechnen, ohne ein gesamtes Bild in einem der 16 Bilder interpolieren zu müssen. In some implementations, the use of the optical flow techniques may improve the interpolation efficiency. For example, instead of interpolating 360 images, the optical flow between each successive camera pair (eg, [1-2], [2-3], [3-4]) can be calculated. For the recorded 16 images and the optical flows, the interpolation module 114 and / or the recording correction module 116 calculate each pixel in an intermediate view without having to interpolate an entire image in one of the 16 images.
In einigen Implementierungen kann das Zusammensetzungsmodul 118 so konfiguriert sein, dass es Bilder zusammensetzt, die von einem Trägersystem mit mehreren Stufen von Kameras aufgenommen wurden, wobei mehrere Stufen über- oder untereinander positioniert sind. Das Zusammensetzungsmodul 118 kann Videoinhalte bearbeiten, die von jeder Stufe der Kameras aufgenommen wurden, um ein zusammengesetztes Bild für jede Stufe zu erstellen, und kann dann die zusammengesetzten Bilder, die jeder Stufe zugeordnet sind, zusammensetzen, um ein 360-Grad-Bild zu erzeugen. Ein Kameraträgersystem kann zum Beispiel 16 Kameras in einer unteren Stufe und 6 Kameras in einer oberen Stufe beinhalten, wobei die obere Stufe über der unteren Stufe am Trägersystem positioniert ist. In diesem Beispiel kann das Zusammensetzungsmodul 118 die Bilder von den 16 Kameras auf der unteren Stufe zusammensetzen, um ein zusammengesetztes Bild zu erzeugen, das der unteren Stufe (z. B. einem zusammengesetzten Bild der unteren Stufe) zugeordnet ist. Das Zusammensetzungsmodul 118 kann außerdem die Bilder von den 6 Kameras auf der oberen Stufe zusammensetzen, um ein zusammengesetztes Bild zu erzeugen, das der oberen Stufe (z. B. einem zusammengesetzten Bild der oberen Stufe) zugeordnet ist. Um ein 360-Grad-Bild zu erzeugen, kann das Zusammensetzungsmodul das zusammengesetzte Bild der unteren Stufe mit dem zusammengesetzten Bild der oberen Stufe zusammensetzen. In einigen Implementierungen sind Kameras, die benachbart sind, Nachbarn (d. h. nebeneinander) auf derselben Ebene oder Stufe angeordnet. In some implementations, the composition module may 118 be configured to assemble images captured by a multi-stage support system of cameras, with multiple stages positioned above or below each other. The composition module 118 can process video content captured by each stage of the cameras to create a composite image for each stage, and then assemble the composite images associated with each stage to produce a 360-degree image. For example, a camera support system may include 16 cameras in a lower stage and 6 cameras in an upper stage, with the upper stage positioned above the lower stage on the support system. In this example, the composition module 118 Assemble the images from the 16 lower-level cameras to create a composite image associated with the lower level (eg, a lower-level composite image). The composition module 118 may also assemble the images from the 6 cameras on the upper level to produce a composite image associated with the upper level (eg, an upper level composite image). To create a 360-degree image, that can Composition module composed the composite image of the lower level with the composite image of the upper level. In some implementations, cameras that are adjacent, neighbors (ie side by side) are located at the same level or level.
Das Bildverarbeitungssystem 106 kann außerdem ein Projektionsmodul 120 und ein Bildkorrekturmodul 122 beinhalten. Das Projektionsmodul 120 kann so konfiguriert sein, dass es stereoskope 3D-Bilder durch Projizieren der Bilder in eine planare, perspektivische Ebene erzeugt. Das Projektionsmodul 120 kann zum Beispiel eine Projektion eines bestimmten Satzes von Bildern erhalten und eine Neuprojektion eines Teils des Satzes von Bildern konfigurieren, indem es einige der Bilder aus einer planaren perspektivischen Projektion in eine sphärische (d. h. äquirektanguläre) perspektivische Projektion umwandelt. Die Umwandlungen beinhalten Projektionsmodellierungstechniken. The image processing system 106 can also have a projection module 120 and an image correction module 122 include. The projection module 120 can be configured to produce stereoscopic 3D images by projecting the images into a planar, perspective plane. The projection module 120 For example, it may receive a projection of a particular set of images and configure a re-projection of a portion of the set of images by converting some of the images from a planar perspective projection to a spherical (ie, angular-invasive) perspective projection. The transformations involve projection modeling techniques.
Projektionsmodellierung kann das Definieren einer Mitte der Projektion und einer Projektionsebene beinhalten. In den in dieser Offenbarung beschriebenen Beispielen kann die Mitte der Projektion ein optisches Zentrum bei einem Ursprung (0,0,0) eines vorher definierten XYZ-Korrdinatensystems darstellen. Die Projektionsebene kann vor der Mitte der Projektion platziert werden, wobei die Kamera zum Aufnehmen der Bilder entlang der Z-Achse im XYZ-Koordinatensystem ausgerichtet ist. Im Allgemeinen kann eine Projektion mithilfe des Schnittpunkts der planaren perspektivischen Ebene eines bestimmten Bildestrahls von einer Koordinate (X, Y, Z) zur Mitte der Projektion berechnet werden. Umwandlungen der Projektion können durch Manipulieren der Koordinatensysteme zum Beispiel mithilfe von Matrixberechnungen erfolgen. Projection modeling may include defining a center of the projection and a projection plane. In the examples described in this disclosure, the center of the projection may represent an optical center at an origin (0,0,0) of a previously defined XYZ coordinate system. The projection plane can be placed in front of the center of the projection, with the camera aligned to capture the images along the Z axis in the XYZ coordinate system. In general, a projection can be calculated using the intersection of the planar perspective plane of a particular image beam from a coordinate (X, Y, Z) to the center of the projection. Conversions of the projection can be done by manipulating the coordinate systems, for example, using matrix calculations.
Projektionsmodellierung für stereoskope Panoramen kann die Verwendung von Bildern mit mehreren Perspektiven beinhalten, die keine einzelne Projektionsmitte aufweisen. Die mehreren Perspektiven sind normalerweise als Kreisform (z. B. sphärisch) dargestellt (siehe 13B). Bei der Wiedergabe von Inhalten kann das hierin beschriebene System eine Kugel als Approximation beim Umwandeln von einem Koordinatensystem zu einem anderen verwenden. Projection modeling for stereoscopic panoramas may involve the use of multi-perspective images that do not have a single center of projection. The multiple perspectives are usually represented as circular (eg, spherical) (see 13B ). When rendering content, the system described herein may use a sphere as an approximation when converting from one coordinate system to another.
Im Allgemeinen stellt eine sphärische (d. h. äquirektanguläre) Projektion eine kugelförmige Ebene bereit, wobei die Mitte der Kugel die Mitte der Projektion gleichmäßig umgibt. Eine perspektivische Projektion stellt eine Ansicht bereit, die Bilder von 3D-Objekten auf einer planaren (z. B. 2D-Fläche) perspektivischen Ebene bereitstellt, um die tatsächliche visuelle Wahrnehmung eines Benutzers zu approximieren. Im Allgemeinen können Bilder auf flachen Bildebenen (z. B. Computermonitor, LCD-Bildschirm eines Mobilgeräts) wiedergegeben werden, sodass die Projektion in planarer Perspektive dargestellt wird, um eine unverzerrte Ansicht bereitzustellen. Eine planare Projektion ermöglicht jedoch ggf. keine 360-Grad-Sichtfelder, daher können aufgenommene Bilder (z. B. Video) in äquirektangulärer (d. h. sphärischer) Perspektive gespeichert und zum Zeitpunkt der Wiedergabe in planarer Perspektive neu projiziert werden. In general, a spherical (i.e., angularly angular) projection provides a spherical plane with the center of the sphere uniformly surrounding the center of the projection. A perspective projection provides a view that provides images of 3D objects on a planar (eg, 2D surface) perspective plane to approximate the actual visual perception of a user. In general, images can be rendered on flat image planes (eg, computer monitor, LCD screen of a mobile device) so that the projection is displayed in planar perspective to provide an undistorted view. However, planar projection may not provide 360-degree fields of view, therefore captured images (eg, video) may be stored in an angular-angular (i.e., spherical) perspective and re-projected in a planar perspective at the time of playback.
Nachdem bestimmte Neuprojektionen abgeschlossen sind, kann das Projektionsmodul 120 die neu projizierten Teile der Bilder für die Wiedergabe in einem HMD senden. Das Projektionsmodul 120 kann zum Beispiel Teile einer Neuprojektion für eine Anzeige für das linke Auge im HMD 110 und Teile der Neuprojektion für eine Anzeige für das rechte Auge im HMD 110 bereitstellen. In einigen Implementierungen kann das Projektionsmodul 120 so konfiguriert sein, dass es die vertikale Parallaxe durch Durchführung der obigen Neuprojektionen berechnet und verringert. After certain new projections have been completed, the projection module can 120 send the newly projected portions of the images for playback in an HMD. The projection module 120 For example, parts of a new projection for a left eye indication in the HMD 110 and parts of the new projection for a right eye display in the HMD 110 provide. In some implementations, the projection module may 120 be configured to calculate and reduce the vertical parallax by performing the above new projections.
Das Bildkorrekturmodul 122 kann so konfiguriert sein, dass es stereoskope 3D-Bilder durch Kompensation der Verzerrung, einschließlich u. a. der perspektivischen Verzerrung, erzeugt. In einigen Implementierungen kann das Bildkorrekturmodul 122 einen bestimmten Abstand bestimmen, in dem der optische Fluss für 3D-Stereo aufrechterhalten werden kann, und kann die Bilder segmentieren, um nur Teile einer Szene darzustellen, in der dieser Fluss aufrechterhalten wird. Das Bildkorrekturmodul 122 kann zum Beispiel bestimmen, dass der optische Fluss der 3D-Stereobilder zwischen etwa einem radialen Meter von einer Außenkante des kreisförmigen Kameraträgersystems 102 bis zum Beispiel etwa fünf radialen Metern von der Außenkante des Kameraträgersystems 102 beibehalten wird. Demgemäß kann das Bildkorrekturmodul 122 sicherstellen, dass der Musterabschnitt zwischen einem Meter und fünf Metern für die Wiedergabe im HMD 110 in einer Projektion ausgewählt wird, die frei von Verzerrung ist und gleichzeitig ordnungsgemäße 3D-Stereoeffekte bereitstellt, die eine ordnungsgemäße Parallaxe für einen Benutzer des HMD 110 aufweist. The image correction module 122 can be configured to produce 3D stereoscopic images by compensating distortion, including but not limited to perspective distortion. In some implementations, the image correction module may 122 determine a certain distance in which the optical flow for 3D stereo can be maintained, and can segment the images to represent only parts of a scene in which this flow is maintained. The image correction module 122 For example, it may determine that the optical flow of the 3D stereo images is between about one radial meter from an outer edge of the circular camera support system 102 for example, about five radial meters from the outside edge of the camera support system 102 is maintained. Accordingly, the image correction module 122 Make sure the pattern section is between one meter and five meters for playback in the HMD 110 is selected in a projection that is free of distortion while providing proper 3D stereo effects that allow proper parallax for a user of the HMD 110 having.
In einigen Implementierungen kann das Bildkorrekturmodul 122 den optischen Fluss durch Anpassen bestimmter Bilder schätzen. Die Anpassungen können zum Beispiel das Korrigieren eines Teils des Bildes, das Bestimmen einer geschätzten Kamerahaltung, die dem Teil der Bilder zugeordnet ist, und das Bestimmen eines Flusses zwischen den Bildern im Teil beinhalten. In einem nicht einschränkenden Beispiel kann das Bildkorrekturmodul 122 einen Unterschied bei der Drehung zwischen zwei bestimmten Bildern kompensieren, in denen der Fluss berechnet wird. Diese Korrektur kann bewirken, dass die Flusskomponente, die durch einen Drehungsunterschied (d. h. Drehungsfluss) verursacht wird, entfernt wird. Diese Korrektur führt zu einem Fluss, der durch Übersetzung (d. h. Parallaxe-Fluss) verursacht wird, was die Komplexität der Flussschätzungsberechnungen verringern und gleichzeitig die resultierenden Bilder präzise und robust machen kann. In einigen Implementierungen können Prozesse neben der Bildkorrektur bei den Bildern vor der Wiedergabe durchgeführt werden. Zusammensetzen, Mischen oder zusätzliche Korrekturprozesse können zum Beispiel bei den Bildern durchgeführt werden, bevor die Wiedergabe erfolgt. In some implementations, the image correction module may 122 estimate the optical flow by adjusting certain images. The adjustments may include, for example, correcting a portion of the image, determining an estimated camera pose associated with the portion of the images, and determining a flow between the images in the portion. In a non-limiting example, the Image Correction Module 122 compensate for a difference in rotation between two specific images in which the flow is calculated. This correction may cause the flux component caused by a rotation difference (ie, rotation flux) to be removed. This correction results in a flux caused by translation (ie, parallax flow), which can reduce the complexity of the flow estimation calculations while making the resulting images precise and robust. In some implementations, processes besides image correction may be performed on the images prior to rendering. For example, compositing, mixing, or additional correction processes may be performed on the images before playback occurs.
In einigen Implementierungen kann das Bildbearbeitungsmodul 122 Projektionsverzerrungen korrigieren, die durch Bildinhalte verursacht werden, die mit Kamerageometrien aufgenommen wurden, die nicht auf planaren, perspektivischen Projektionen basieren. Korrekturen können zum Beispiel durch Interpolieren von Bildern aus einer Reihe verschiedener Betrachtungswinkel und durch Konditionieren der Betrachtungsstrahlen, die den Bildern zugeordnet sind, die von einem gemeinsamen Ursprung stammen, auf die Bilder angewandt werden. Die interpolierten Bilder können in aufgenommene Bilder verschachtelt werden, um virtuelle Inhalte zu produzieren, die für das menschliche Auge genau erscheinen, mit einem angenehmen Grad an drehbarer Parallaxe für das menschliche Auge. In some implementations, the image processing module may 122 Correct projection distortions caused by image content taken with camera geometries that are not based on planar, perspective projections. Corrections may be applied to the images, for example, by interpolating images from a variety of viewing angles and conditioning the viewing rays associated with images originating from a common origin. The interpolated images can be interlaced into captured images to produce virtual content that is accurate to the human eye, with a comfortable degree of rotatable parallax to the human eye.
In dem exemplarischen System 100 können die Geräte 106, 108 und 112 ein Laptop-Computer, ein Desktop-Computer, ein mobiles Computergerät oder eine Spielekonsole sein. In einigen Implementierungen können die Geräte 106, 108 und 112 ein mobiles Computergerät sein, das innerhalb des HMD-Geräts 110 angeordnet (z. B. platziert/befindlich) ist. Das mobile Computergerät kann ein Anzeigegerät beinhalten, das zum Beispiel als Bildschirm für das HMD-Gerät 110 verwendet werden kann. Geräte 106, 108 und 112 können Hardware und/oder Software für das Ausführen einer VR-Anwendung beinhalten. Außerdem können Geräte 106, 108 und 112 Hardware und/oder Software beinhalten, die eine 3D-Bewegung des HMD-Geräts 110 erkennen, überwachen und verfolgen kann, wenn diese Geräte vor das HMD-Gerät 110 platziert oder innerhalb eines Bereichs von Positionen relativ zu demselben gehalten werden. In einigen Implementierungen können Geräte 106, 108 und 112 zusätzliche Inhalte für das HMD-Gerät 110 über das Netzwerk 104 bereitstellen. In einigen Implementierungen können die Geräte 102, 106, 108, 110 und 112 entweder paarweise oder über das Netzwerk 104 mit einem oder mehreren voneinander verbunden/schnittstellenmäßig verbunden sein. Die Verbindung kann drahtgebunden oder drahtlos sein. Das Netzwerk 104 kann ein öffentliches Kommunikationsnetzwerk oder ein privates Kommunikationsnetzwerk sein. In the exemplary system 100 can the devices 106 . 108 and 112 a laptop computer, a desktop computer, a mobile computing device, or a game console. In some implementations, the devices can 106 . 108 and 112 a mobile computing device that is inside the HMD device 110 arranged (eg, placed / located) is. The mobile computing device may include a display device, for example, as a screen for the HMD device 110 can be used. equipment 106 . 108 and 112 may include hardware and / or software for running a VR application. In addition, devices can 106 . 108 and 112 Hardware and / or software include a 3D movement of the HMD device 110 can detect, monitor and track when these devices are in front of the HMD device 110 placed or held within a range of positions relative thereto. In some implementations, devices may 106 . 108 and 112 additional content for the HMD device 110 over the network 104 provide. In some implementations, the devices can 102 . 106 . 108 . 110 and 112 either in pairs or over the network 104 with one or more connected / interfaced. The connection can be wired or wireless. The network 104 may be a public communications network or a private communications network.
Das System 100 kann elektronischen Speicher beinhalten. Der elektronische Speicher kann in jedem der Geräte (z. B. Kameraträgersystem 102, Bildverarbeitungssystem 106, HMD-Gerät 110 usw.) enthalten sein. Der elektronische Speicher kann nicht flüchtige Speichermedien beinhalten, die Informationen elektronisch speichern. Der elektronische Speicher kann so konfiguriert sein, dass er aufgenommene Bilder, erhaltene Bilder, vorverarbeitete Bilder, nachbearbeitete Bilder usw. speichert. Bilder, die mit einem beliebigen der offenbarten Kameraträgersysteme aufgenommen werden, können als einer oder mehrere Videostreams verarbeitet und gespeichert oder als individuelle Einzelbilder gespeichert werden. In einigen Implementierungen kann das Speichern während der Aufnahme und die Wiedergabe direkt nach Teilen der Aufnahme erfolgen, um einen schnelleren Zugriff auf Stereo-Panoramainhalte früher zu ermöglichen, als wenn Aufnahme und Verarbeitung nicht gleichzeitig erfolgen. The system 100 can include electronic memory. The electronic memory may be in each of the devices (eg camera carrier system 102 , Image processing system 106 , HMD device 110 etc.). The electronic storage may include non-volatile storage media that store information electronically. The electronic memory may be configured to store captured images, obtained images, pre-processed images, post-processed images, and so forth. Images captured with any of the disclosed camera carrier systems may be processed and stored as one or more video streams or stored as individual frames. In some implementations, saving during recording and playback may occur immediately after part of the recording to allow faster access to stereo panorama content earlier than when recording and processing are not simultaneous.
2 zeigt ein Diagramm, das ein exemplarisches Kameraträgersystem 200 darstellt, das so konfiguriert ist, dass es Bilder einer Szene für die Verwendung beim Erzeugen stereoskopischer Panoramen aufnimmt. Das Kameraträgersystem 200 beinhaltet eine erste Kamera 202A und eine zweite Kamera 202B, die an einer ringförmigen Auflagebasis (nicht dargestellt) angebracht sind. Wie dargestellt, sind Kameras 202A und 202B an einer ringförmigen Position direkt nach außen weisend (in Richtung der zu erfassenden Bilder/Szenen) und parallel zu einer Mitte oder Drehachse (A1) des Trägersystems 200 angeordnet. In einigen Implementierungen kann das Diagramm von 2 einer Stufe eines mehrstufigen Kameraträgersystems entsprechen. 2 shows a diagram illustrating an exemplary camera carrier system 200 configured to receive images of a scene for use in creating stereoscopic panoramas. The camera carrier system 200 includes a first camera 202A and a second camera 202B mounted on an annular support base (not shown). As shown, cameras are 202A and 202B pointing at an annular position directly outwards (in the direction of the images / scenes to be detected) and parallel to a center or axis of rotation (A1) of the carrier system 200 arranged. In some implementations, the diagram of 2 correspond to a stage of a multi-stage camera support system.
Im gezeigten Beispiel sind die Kameras 202A und 202B an einer Montageplatte 208 in einem Abstand voneinander entfernt (B1) angeordnet (z. B. platziert). In einigen Implementierungen kann der Abstand (B1) zwischen jeder Kamera am Kameraträgersystem 200 einen durchschnittlichen menschlichen Pupillenabstand (IPD) darstellen. Die Platzierung der Kameras in einem IPD kann approximieren, wie menschliche Augen Bilder während der Drehung (links oder rechts wie durch Pfeil 204 dargestellt) sehen würden, um eine Szene rund um einen Aufnahmepfad zu scannen, der durch Pfeil 204 angegeben ist. Exemplarische durchschnittliche menschliche IPD-Maße können etwa 5 Zentimeter bis etwa 6,5 Zentimeter sein. In einigen Implementierungen kann jede Kamera, die in einem üblichen IPD-Abstand voneinander entfernt angeordnet ist, Teil eines Stereopaars von Kameras sein. In the example shown are the cameras 202A and 202B on a mounting plate 208 spaced apart (B1) (eg, placed). In some implementations, the distance (B1) between each camera on the camera carrier system 200 represent an average human pupillary distance (IPD). The placement of the cameras in an IPD can approximate how human eyes view images during rotation (left or right as indicated by arrow 204 shown) to scan a scene around a recording path indicated by arrow 204 is specified. Exemplary average human IPD measurements can range from about 5 inches to about 6.5 inches. In some implementations For example, any camera spaced apart from one another at a common IPD distance may be part of a stereo pair of cameras.
In einigen Implementierungen kann das Kameraträgersystem 200 so konfiguriert sein, dass es einen Durchmesser eines menschlichen Standardkopfes approximiert. Das Kameraträgersystem 200 kann zum Beispiel mit einem Durchmesser 206 von etwa 8 Zentimetern bis etwa 10 Zentimetern konstruiert sein. Der Durchmesser 206 kann für das Trägersystem 200 so ausgewählt sein, dass er approximiert, wie ein menschlicher Kopf sich drehen und Szenenbilder mit menschlichen Augen in Bezug auf die Mitte der Drehung A1 sehen würde. Andere Maße sind möglich und das Trägersystem 200 oder System 100 kann die Aufnahmetechniken und resultierenden Bilder anpassen, falls zum Beispiel ein größerer Durchmesser verwendet werden soll. In some implementations, the camera carrier system 200 be configured to approximate a diameter of a standard human head. The camera carrier system 200 can, for example, with a diameter 206 be constructed from about 8 centimeters to about 10 centimeters. The diameter 206 can for the carrier system 200 be selected to approximate how a human head would rotate and see scene images with human eyes relative to the center of rotation A1. Other dimensions are possible and the carrier system 200 or system 100 can adjust the shooting techniques and resulting images if, for example, a larger diameter is to be used.
In einem nicht einschränkenden Beispiel kann das Kameraträgersystem 200 einen Durchmesser 206 von etwa 8 Zentimetern bis etwa 10 Zentimetern aufweisen, zudem können Kameras daran angebracht sein, die in einem IPD von etwa 6 Zentimetern voneinander entfernt sind. Eine Reihe von Trägersystemanordnungen wird nachfolgend beschrieben. Jede in dieser Offenbarung beschriebene Anordnung kann mit den vorher erwähnten oder anderen Durchmessern und Abständen zwischen Kameras konfiguriert sein. As an example and not by way of limitation, the camera carrier system 200 a diameter 206 From about 8 centimeters to about 10 centimeters, in addition, cameras can be attached to it, which are in an IPD of about 6 centimeters apart. A number of carrier system arrangements will be described below. Any arrangement described in this disclosure may be configured with the aforementioned or different diameters and distances between cameras.
Wie in 2 dargestellt, können zwei Kameras 202A, 202B mit einem breiten Sichtfeld konfiguriert sein. Die Kameras können zum Beispiel ein Sichtfeld von etwa 150 Grad bis etwa 180 Grad aufnehmen. Die Kameras 202A, 202B können zum Beispiel über Fischaugenobjektive verfügen, um breitere Ansichten aufzunehmen. In einigen Implementierungen dienen die Kameras 202A, 202B als ein Stereopaar. As in 2 shown, can have two cameras 202A . 202B be configured with a wide field of view. For example, the cameras can capture a field of view from about 150 degrees to about 180 degrees. The cameras 202A . 202B For example, they may have fisheye lenses for broader views. In some implementations, the cameras are used 202A . 202B as a stereo pair.
Im Betrieb kann das Trägersystem 200 um 360 Grad um die Mitte der Drehung A1 gedreht werden, um eine Panoramaszene aufzunehmen. Alternativ dazu kann das Trägersystem stationär bleiben und zusätzliche Kameras können zum Kameraträgersystem 200 hinzugefügt werden, um zusätzliche Teile der 360-Grad-Szene aufzunehmen (wie zum Beispiel in 3 und 4A dargestellt). In operation, the carrier system 200 rotated 360 degrees around the center of rotation A1 to take a panorama scene. Alternatively, the carrier system may remain stationary and additional cameras may go to the camera carrier system 200 can be added to accommodate additional parts of the 360-degree scene (such as in 3 and 4A shown).
3 zeigt ein Diagramm, das ein anderes exemplarisches Kameraträgersystem 300 darstellt, das so konfiguriert ist, dass es Bilder einer Szene für die Verwendung beim Erzeugen stereoskopischer Panoramen aufnimmt. Das Kameraträgersystem 300 beinhaltet eine Reihe von Kameras 302A–302H, die an einer ringförmigen Auflagebasis (nicht dargestellt) angebracht sind. Die erste Kamera 302A ist als durchgezogene Linie dargestellt, während die zusätzlichen Kameras 302B–302H mit unterbrochenen Linien dargestellt sind, um anzuzeigen, dass sie optional sind. Im Gegensatz zu den parallel montierten Kameras, die an Kameraträgersystem 200 dargestellt sind (siehe Kameras 202A und 202B), sind die Kameras 302A–302H tangential zum äußeren Umfang des ringförmigen Kameraträgersystems 300 angeordnet. Wie in 3 dargestellt, hat Kamera 302A eine benachbarte Kamera 302B und eine benachbarte Kamera 302H. 3 shows a diagram illustrating another exemplary camera support system 300 configured to receive images of a scene for use in creating stereoscopic panoramas. The camera carrier system 300 includes a number of cameras 302A - 302H mounted on an annular support base (not shown). The first camera 302A is shown as a solid line, while the additional cameras 302B - 302H are shown with broken lines to indicate that they are optional. Unlike the parallel mounted cameras attached to the camera carrier system 200 are shown (see cameras 202A and 202B ), are the cameras 302A - 302H tangent to the outer circumference of the annular camera support system 300 arranged. As in 3 shown, has camera 302A an adjacent camera 302B and an adjacent camera 302H ,
Im dargestellten Beispiel sind die Kameras 202A und 202B ähnlich den Kameras in Trägersystem 200 in einem bestimmten Abstand voneinander angeordnet (B1). In diesem Beispiel können die Kameras 302A und 302B als benachbartes Paar fungieren, um, wie nachfolgend näher beschrieben, Winkel von einem zentralen Kameraobjektiv nach links bzw. rechts aufzunehmen. In the example shown are the cameras 202A and 202B similar to the cameras in carrier system 200 arranged at a certain distance from each other (B1). In this example, the cameras can 302A and 302B act as an adjacent pair to capture angles from a central camera lens to the left and right, respectively, as described in more detail below.
In einem Beispiel ist das Kameraträgersystem 300 ein kreisförmiges Trägersystem, das eine drehbare oder feste Basis (nicht dargestellt) und eine Montageplatte 306 (die auch als Auflage bezeichnet werden kann) beinhaltet, wobei das benachbarte Paar Kameras eine erste Kamera 302A beinhaltet, die an der Montageplatte 306 montiert und so konfiguriert ist, dass sie in eine Blickrichtung zeigt, die tangential zu einem Rand der Montageplatte 306 verläuft, und so angeordnet ist, dass sie in eine linke Richtung weist, und eine zweite Kamera 302B, die Seite an Seite zur ersten Kamera an der Montageplatte 306 platziert ist und in einem Pupillenabstand (oder einem anderen Abstand (z. B. kleiner als IPD)) von der ersten Kamera 302A platziert ist, wobei die zweite Kamera 302B so angeordnet ist, dass sie in eine Blickrichtung zeigt, die tangential zu einer Kante der Montageplatte 306 verläuft, und so angeordnet, dass sie in eine rechte Richtung weist. Ähnlich können benachbarte Paare aus Kameras 302C und 302D, ein anderes Paar aus Kameras 302E und 302F und noch ein anderes Paar aus Kameras 302G und 302H bestehen. In einigen Implementierungen kann jede Kamera (z. B. 302A) mit einer Kamera ein Paar bilden, die selbst nicht benachbart ist, sondern mit ihrem Nachbarn benachbart ist, sodass jede Kamera am Trägersystem mit einer anderen Kamera am Trägersystem ein Paar bilden kann. In einigen Implementierungen kann jede Kamera mit ihrem direkten Nachbarn (an beiden Seiten) ein Paar bilden. In one example, the camera carrier system 300 a circular support system having a rotatable or fixed base (not shown) and a mounting plate 306 (which may also be referred to as an overlay), where the adjacent pair of cameras is a first camera 302A includes that on the mounting plate 306 mounted and configured to point in a line of sight tangent to an edge of the mounting plate 306 runs, and is arranged so that it faces in a left direction, and a second camera 302B , side by side to the first camera on the mounting plate 306 is placed and at a pupil distance (or other distance (eg smaller than IPD)) from the first camera 302A is placed, the second camera 302B is arranged to point in a line of sight tangent to an edge of the mounting plate 306 runs, and arranged so that it points in a right direction. Similarly, neighboring pairs of cameras 302C and 302D , another couple of cameras 302E and 302F and another couple of cameras 302G and 302H consist. In some implementations, each camera (e.g. 302A ) form a pair with a camera that is not adjacent to itself, but is adjacent to its neighbor so that each camera on the carrier system can pair with another camera on the carrier system. In some implementations, each camera may pair with its immediate neighbor (on both sides).
In einigen Implementierungen können ein oder mehrere Stereobilder durch das Interpolationsmodul 114 erzeugt werden. Neben den Stereokameras, die am Kameraträgersystem 300 dargestellt sind, können zusätzliche Stereokameras als synthetische Stereobildkameras erzeugt werden. Insbesondere kann das Analysieren von Strahlen aufgenommener Bilder (z. B. Raytracing) simulierte Einzelbilder einer 3D-Szene produzieren. Die Analyse kann das Verfolgen von Strahlen nach hinten von einem Standpunkt über ein bestimmtes Bild oder Einzelbild und in die Szene beinhalten. Wenn ein bestimmter Strahl auf ein Objekt in der Szene auftrifft, kann jedes Bildpixel, durch das er geht, mit einer Farbe versehen werden, die dem Objekt entspricht. Wenn der Strahl nicht auf das Objekt auftrifft, kann das Bildpixel mit einer Farbe versehen werden, die einem Hintergrund oder einem anderen Merkmal in der Szene entspricht. Mithilfe von Standpunkten und Raytracing kann das Interpolationsmodul 114 zusätzliche Szeneninhalte erzeugen, die von einer simulierten Stereokamera zu sein scheinen. Der zusätzliche Inhalt kann Bildeffekte, fehlende Bildinhalte, Hintergrundinhalte, Inhalte für die Außenseite des Sichtfelds beinhalten. In some implementations, one or more stereo images may pass through the interpolation module 114 be generated. In addition to the stereo cameras attached to the camera support system 300 are shown, additional stereo cameras can be generated as synthetic stereo image cameras. In particular, that can Analyze rays of captured images (eg ray tracing) to produce simulated frames of a 3D scene. The analysis may involve tracking rays backwards from a viewpoint over a particular image or frame and into the scene. When a particular beam strikes an object in the scene, each pixel that it passes through can be given a color that corresponds to the object. If the beam does not strike the object, the image pixel may be colorized to match a background or other feature in the scene. Using points of view and raytracing, the interpolation module can 114 create additional scene content that seems to be from a simulated stereo camera. The additional content may include image effects, missing image content, background content, content for the outside of the field of view.
Wie in 3 dargestellt, sind die Kameras 302A–302H tangential zum äußeren Umfang des Kameraträgersystems 300 angeordnet (z. B. platziert) und können daher eine Ansicht von bis zu 180 Grad einer Szene aufnehmen. Das heißt, da die Kameras auf tangentiale Weise platziert sind, kann ein vollständig, nicht verdecktes 180-Grad-Sichtfeld in jeder Kamera am Trägersystem aufgenommen werden. As in 3 shown are the cameras 302A - 302H tangent to the outer circumference of the camera carrier system 300 arranged (eg placed) and can therefore take a view of up to 180 degrees of a scene. That is, since the cameras are placed in a tangential manner, a full, unobstructed 180 degree field of view can be captured on the support system in each camera.
In einigen Implementierungen beinhaltet das Kameraträgersystem 300 benachbarte Kameras. Das Trägersystem 300 kann zum Beispiel benachbarte Kameras 302A und 302B beinhalten. Kamera 302A kann mit einem zugehörigen Objektiv konfiguriert sein, das in eine Blickrichtung ausgerichtet ist, die tangential zu einer Kante einer Montageplatte 304 verläuft, und so angeordnet sein, dass sie in eine linke Richtung zeigt. Ähnlich kann Kamera 302B an der Montageplatte 304 Seite an Seite mit Kamera 302A angeordnet und so platziert sein, dass sie den menschlichen Pupillenabstand von Kamera 302A approximiert, und so angeordnet sein, dass sie in eine Blickrichtung zeigt, die tangential zu einem Rand der Montageplatte 304 ist, und so angeordnet sein, dass sie in eine rechte Richtung zeigt. In some implementations, the camera carrier system includes 300 neighboring cameras. The carrier system 300 can, for example, neighboring cameras 302A and 302B include. camera 302A may be configured with an associated lens that is oriented in a line of sight that is tangent to an edge of a mounting plate 304 runs, and be arranged so that it points in a left direction. Camera is similar 302B on the mounting plate 304 Side by side with camera 302A be placed and placed so that they are the human pupil distance from camera 302A approximated, and arranged to point in a line of sight tangent to an edge of the mounting plate 304 is, and arranged so that it points in a right direction.
In einigen Implementierungen können bestimmte Sensoren an Kameras 302A–H (oder am Kameraträgersystem 300) tangential zum äußeren Umfang der Kameras 302A–H (oder dem Trägersystem 300) angeordnet sein, anstatt dass die tatsächlichen Kameras 302A–H tangential angeordnet sind. Auf diese Weise können die Kameras 302A–H gemäß der Benutzerpräferenz platziert werden und die Sensoren erkennen, welche Kamera oder Kameras 302A–H Bilder auf Basis der Position des Trägersystems 300, der Schwenkgeschwindigkeit oder auf Basis der Kamerakonfigurationen und -einstellungen aufnehmen können. In some implementations, certain sensors may be connected to cameras 302A -H (or on the camera carrier system 300 ) tangent to the outer circumference of the cameras 302A -H (or the carrier system 300 ), rather than the actual cameras 302A -H are arranged tangentially. That way the cameras can 302A -H are placed according to the user preference and the sensors detect which camera or cameras 302A -H images based on the position of the carrier system 300 which can record swivel speed or based on the camera configurations and settings.
In einigen Implementierungen können die Nachbarn Kamera 302A und Kamera 302E, Rücken an Rücken oder Seite an Seite angeordnet, beinhalten. Diese Anordnung kann zudem verwendet werden, um Betrachtungswinkel nach links und rechts eines Azimuts 308 zu sammeln, der durch das jeweilige Kameraobjektiv und die Montageplatte 304 gebildet wird. In einigen Implementierungen sind die Kameras in einem Neigungswinkel nach links oder rechts des Azimuts 308 angeordnet, der durch das Kameraobjektiv bzw. die Montageplatte 304 gebildet wird. In some implementations, the neighbors may be camera 302A and camera 302E , Arranged back to back or side by side. This arrangement can also be used to view angles to the left and right of an azimuth 308 to collect, by the respective camera lens and the mounting plate 304 is formed. In some implementations, the cameras are at a tilt angle to the left or right of the azimuth 308 arranged by the camera lens or the mounting plate 304 is formed.
In einigen Implementierungen können Kameras, die am Kameraträgersystem 300 platziert sind, mit jeder anderen benachbarten Kamera während der Bildinterpolation ein Paar bilden und einfach rund um das kreisförmige Trägersystem in einer nach außen weisenden Richtung ausgerichtet sein. In einigen Implementierungen beinhaltet das Trägersystem 300 eine einzelne Kamera (z. B. Kamera 302A). Falls nur eine Kamera 302A am Trägersystem 300 montiert ist, können Stereo-Panoramabilder durch Drehen des Kameraträgersystems 300 um vollständige 360 Grad im Uhrzeigersinn aufgenommen werden. In some implementations, cameras may be on the camera carrier system 300 are paired with each other adjacent camera during image interpolation and are simply aligned around the circular support system in an outward direction. In some implementations, the carrier system includes 300 a single camera (eg camera 302A ). If only one camera 302A on the carrier system 300 Mounted, you can enjoy panoramic stereo images by rotating the camera support system 300 to be completely 360 degrees clockwise.
In einigen Implementierungen kann das Diagramm von 3 einer Stufe eines mehrstufigen Kameraträgersystems entsprechen. In diesen Implementierungen kann zum Beispiel eine Stufe eines mehrstufigen Kameraträgersystems Kameras 302A–302H beinhalten, die an einer ringförmigen Tragstruktur des mehrstufigen Kameraträgersystems angebracht sind. In some implementations, the diagram of 3 correspond to a stage of a multi-stage camera support system. In these implementations, for example, a stage of a multi-stage camera support system may include cameras 302A - 302H include attached to an annular support structure of the multi-stage camera support system.
4A bis 4D zeigen Diagramme, die verschiedene Ansichten (eine perspektivische Ansicht, eine Seitenansicht, eine Draufsicht bzw. eine Ansicht von unten) eines Kameraträgersystems 400 (das auch als ein mehrstufiges Kameraträgersystem bezeichnet werden kann) gemäß einer Implementierung veranschaulichen. Wie dargestellt, beinhaltet das Kameraträgersystem 400 ein Kameragehäuse 420 mit einem unteren kreisförmigen Umfang 430 und einer oberen mehrflächigen Kappe 440. Der untere kreisförmige Umfang 430 kann Kameras 405A bis 405C und 405M beinhalten. Obgleich diese Implementierung des unteren kreisförmigen Umfangs 430 mehr als vier Kameras beinhaltet, sind zur Einfachheit nur vier der Kameras beschriftet. In dieser Implementierung können die Kameras (die auch als Aufnahmegeräte oder Bildsensoren bezeichnet werden können) zudem gemeinsam als Kameras 405 bezeichnet werden. Die obere mehrflächige Kappe 440 kann Kameras 415A bis 415C und 415M beinhalten. Obgleich diese Implementierung der oberen mehrflächigen Kappe mehr als drei Kameras beinhaltet, sind der Einfachheit halber nur drei der Kameras beschriftet. In dieser Implementierung können die Kameras (die auch als Aufnahmegeräte oder Bildsensoren bezeichnet werden können) zudem gemeinsam als Kameras 415 bezeichnet werden. 4A to 4D 12 shows diagrams illustrating various views (a perspective view, a side view, a top view, and a bottom view, respectively) of a camera support system 400 (which may also be referred to as a multi-level camera carrier system) according to one implementation. As shown, the camera carrier system includes 400 a camera body 420 with a lower circular circumference 430 and an upper multi-surface cap 440 , The lower circular circumference 430 can cameras 405A to 405C and 405M include. Although this implementation of the lower circular scope 430 contains more than four cameras, only four of the cameras are labeled for simplicity. In this implementation, the cameras (which can also be referred to as recorders or image sensors) also act together as cameras 405 be designated. The upper multi-surface cap 440 can cameras 415A to 415C and 415M include. Although this implementation of the upper multi-faceted Cap contains more than three cameras, for simplicity, only three of the cameras are labeled. In this implementation, the cameras (which can also be referred to as recorders or image sensors) also act together as cameras 415 be designated.
Die Kameras 415 (z. B. 415A usw.) sind in einer ersten Stufe der Kameras (oder Bildsensoren) enthalten, während die Kameras 405 (z. B. 405A usw.) in einer zweiten Stufe der Kameras (oder Bildsensoren) enthalten sind. Die erste Stufe der Kameras kann als primäre Stufe der Kameras bezeichnet werden. Wie in 4B dargestellt, ist ein Sichtfeld (oder eine Mitte) jedes der Bildsensoren in der ersten Stufe der Kameras innerhalb einer Ebene PQ1 angeordnet oder überschneidet diese, während ein Sichtfeld (oder eine Mitte) jedes der Bildsensoren in der zweiten Stufe der Kameras innerhalb einer Ebene PQ2 angeordnet ist oder diese überschneidet. Die Ebene PQ1 verläuft parallel zur Ebene PQ2. The cameras 415 (eg 415A etc.) are included in a first stage of the cameras (or image sensors) while the cameras 405 (eg 405A etc.) are included in a second stage of the cameras (or image sensors). The first stage of the cameras can be referred to as the primary stage of the cameras. As in 4B 4, a field of view (or center) of each of the image sensors in the first stage of the cameras is located within or intersecting a plane PQ1, while a field of view (or center) of each of the image sensors in the second stage of the cameras is located within a plane PQ2 is or this overlaps. The plane PQ1 is parallel to the plane PQ2.
In dieser Implementierung beinhaltet das Kameraträgersystem 400 eine erste Stufe von sechzehn Kameras 415 und eine zweite Stufe von sechs Kameras 405. In einigen Implementierungen ist das Verhältnis der Kameras auf der unteren Ebene (oder Stufe) zu den Kameras auf der oberen Ebene (oder Stufe) größer als 2:1, jedoch kleiner als 3:1 (z. B. 2,67:1). In this implementation, the camera carrier system includes 400 a first stage of sixteen cameras 415 and a second stage of six cameras 405 , In some implementations, the ratio of the lower level (or level) cameras to the upper level (or level) cameras is greater than 2: 1, but less than 3: 1 (eg, 2.67: 1). ,
Wie dargestellt, beinhaltet das Kameraträgersystem 400 in dieser Implementierung nur zwei Stufen von Kameras. Das Kameraträgersystem 400 schließt eine dritte Stufe der Kameras aus und hat somit nur Kameras auf zwei Ebenen. In dieser Implementierung gibt es keine entsprechende Ebene der Kameras ähnlich der zweiten Stufe der Kameras unter der ersten Stufe der Kameras im Kameraträgersystem 400. Eine untere Ebene (oder Stufe) der Kameras kann ausgeschlossen werden, um Bildverarbeitung, Gewicht, Aufwand usw. zu reduzieren, ohne die Brauchbarkeit der Bilder zu beeinträchtigen. As shown, the camera carrier system includes 400 in this implementation only two levels of cameras. The camera carrier system 400 excludes a third stage of the cameras and thus has only two-level cameras. In this implementation, there is no corresponding level of the cameras similar to the second level of the cameras below the first level of cameras in the camera carrier system 400 , A lower level (or level) of the cameras can be excluded to reduce image processing, weight, effort, etc. without compromising the usability of the images.
Obgleich nicht dargestellt, kann ein Kameraträgersystem in einigen Implementierungen drei Stufen von Kameras beinhalten. In diesen Implementierungen kann die dritte Stufe von Kameras dieselbe Anzahl (z. B. sechs Kameras) oder eine andere Anzahl (z. B. weniger, mehr) Kameras als die zweite Stufe von Kameras aufweisen. Die erste Stufe von Kameras (z. B. sechzehn) kann zwischen der zweiten und dritten Stufe von Kameras angeordnet sein. Although not shown, in some implementations, a camera carrier system may include three levels of cameras. In these implementations, the third level of cameras may have the same number of cameras (eg, six cameras) or a different number (eg, fewer, more) cameras than the second level of cameras. The first stage of cameras (eg, sixteen) may be located between the second and third stages of cameras.
Ähnlich den anderen hierin beschriebenen Implementierungen weisen die Kameras 405 des unteren Umfangs 430 des Kameraträgersystems 400 nach außen (weisen z. B. von einer Mitte des Kameraträgersystems 400 weg). In dieser Implementierung ist jede der Kameras 405 so ausgerichtet, dass eine Achse, entlang der ein Sichtfeld eines Objektivsystems der Kameras 405 zentriert ist, rechtwinklig zu einer Tangente einer Kreisform (z. B. ein Kreis, im Wesentlichen ein Kreis) verläuft, die durch den unteren kreisförmigen Umfang 430 des Kameragehäuses 420 und durch Erweiterung der Kreisform definiert wird, die wiederum von den Kameras 405 definiert wird. Dieses Beispiel wird zumindest in 5 durch Achsen 510 und eine Tangentenlinie 520, die den Kameras 405 zugeordnet ist, veranschaulicht. Similar to the other implementations described herein, the cameras have 405 the lower circumference 430 of the camera carrier system 400 outward (for example, point from a center of the camera support system 400 path). In this implementation, each of the cameras is 405 aligned so that an axis along which a field of view of a lens system of the cameras 405 centered, perpendicular to a tangent of a circular shape (eg, a circle, essentially a circle), passing through the lower circular perimeter 430 of the camera body 420 and by expanding the circular shape is defined, in turn, by the cameras 405 is defined. This example will be at least in 5 through axes 510 and a tangent line 520 that the cameras 405 is assigned.
In dieser Implementierung ist jede der Kameras so konfiguriert, dass sich eine Achse 510 (in 5 dargestellt) durch ein Objektivsystem (z. B. eine Mitte eines Objektivs oder Aufnahmesensors) an einer Seite des Kameraträgersystems 400 durch die Mitte 530 des Kameraträgersystems 400 und durch ein anderes Objektivsystem an einer anderen Seite des Kameraträgersystems 400 erstrecken kann. Die Kameras 405 (oder Bildsensoren) sind in Kreisform rund um den unteren kreisförmigen Umfang 430 des Kameragehäuses 420 angeordnet, sodass jede der Kameras 405 eine Projektion (oder Mitte der Projektion) nach außen hat, die die Normale zum unteren kreisförmigen Umfang 430 sein kann, und durch Erweiterung der Kreisform, die vom Kameraträgersystem 400 definiert wird. Mit anderen Worten können die Kameras 405 Projektionen aufweisen, die von einem inneren Teil des Kameraträgersystems 400 weg weisen. In this implementation, each of the cameras is configured to be an axis 510 (in 5 through a lens system (eg, a center of a lens or pickup sensor) on one side of the camera support system 400 through the middle 530 of the camera carrier system 400 and another lens system on another side of the camera support system 400 can extend. The cameras 405 (or image sensors) are circular in shape around the lower circular circumference 430 of the camera body 420 arranged so that each of the cameras 405 has a projection (or center of projection) to the outside, which is the normal to the lower circular circumference 430 can be, and by extending the circular shape, the camera support system 400 is defined. In other words, the cameras can 405 Have projections from an inner part of the camera support system 400 point away.
In einigen Implementierungen sind die Objektivsysteme der jeweiligen Kameras 405 von der Mitte des Körpers der jeweiligen Kameras 405 versetzt. Dies führt dazu, dass jede der Kameras, die innerhalb des Kameragehäuses 420 angeordnet sind, in einem Winkel in Bezug auf die anderen Kameras 405 angeordnet ist, sodass das Sichtfeld der jeweiligen Kameras in Bezug auf das Kameraträgersystem 400 rechtwinklig ausgerichtet sein kann (z. B. rechtwinklig zu einer Tangente der Kreisform weisend, die durch den unteren Umfang 420 definiert wird). In some implementations, the lens systems are the respective cameras 405 from the middle of the body of the respective cameras 405 added. This causes each of the cameras inside the camera body 420 are arranged at an angle with respect to the other cameras 405 is arranged so that the field of view of the respective cameras with respect to the camera support system 400 may be oriented at right angles (for example, pointing at right angles to a tangent of the circular shape passing through the lower circumference 420 is defined).
Obgleich nicht dargestellt, kann in einigen Implementierungen eine ungerade Anzahl von Kameras als Teil des unteren kreisförmigen Umfangs 420 im Kameragehäuse enthalten sein. In diesen Implementierungen können die Objektivsysteme der Kameras ein Sichtfeld aufweisen, das um eine Achse rechtwinklig zu einer Tangente des Kameraträgersystems (oder einer Kreisform, die durch das Kameraträgersystem definiert wird) zentriert ist, ohne eine Achse, die durch mehrere der Kameraobjektivsysteme und die Mitte des Kameraträgersystems angeordnet ist. Although not shown, in some implementations an odd number of cameras may be included as part of the lower circular perimeter 420 be included in the camera body. In these implementations, the lens systems of the cameras may include a field of view that is about an axis perpendicular to a tangent of the camera support system (or a circular shape defined by the camera support system). is centered, without an axis, which is arranged by a plurality of camera lens systems and the center of the camera support system.
In einigen Implementierungen kann eine minimale oder maximale Geometrie des unteren kreisförmigen Umfangs 430 auf Basis der Optik (z. B. Sichtfeld, Pixelauflösung) von einer oder mehreren Kameras 405 definiert werden. Ein minimaler Durchmesser und/oder ein maximaler Durchmesser des unteren kreisförmigen Umfangs 430 kann zum Beispiel auf Basis eines Sichtfelds von mindestens einer der Kameras 405 definiert werden. In einigen Implementierungen kann ein relativ großes (oder breites) Sichtfeld zu einem relativ kleinen unteren kreisförmigen Umfang 430 führen. Wie in 4A bis 4D dargestellt, ist zum Beispiel jede der Kameras 405 im Hochformat (z. B. im Seitenverhältnis 4:3) angeordnet, sodass eine horizontale Dimension der Bilder, die von den Kameras 405 aufgenommen werden, kleiner ist als eine vertikale Dimension der Bilder, die von den Kameras 405 aufgenommen werden. In einigen Implementierungen kann jede der Kameras 405 in einem beliebigen Seitenverhältnis oder in einer beliebigen Ausrichtung (z. B. einem Seitenverhältnis von 16:9 oder 9:16, einem Seitenverhältnis von 3:4) angeordnet sein. In some implementations, a minimum or maximum geometry of the lower circular perimeter may be used 430 based on the optics (eg field of view, pixel resolution) of one or more cameras 405 To be defined. A minimum diameter and / or a maximum diameter of the lower circular circumference 430 can, for example, based on a field of view of at least one of the cameras 405 To be defined. In some implementations, a relatively large (or wide) field of view may result in a relatively small, lower circular perimeter 430 to lead. As in 4A to 4D For example, each of the cameras is shown 405 placed in portrait orientation (eg in 4: 3 aspect ratio), allowing a horizontal dimension of the images taken by the cameras 405 is smaller than a vertical dimension of the images taken by the cameras 405 be recorded. In some implementations, each of the cameras can 405 in any aspect ratio or orientation (e.g., an aspect ratio of 16: 9 or 9:16, an aspect ratio of 3: 4).
In einigen Implementierung ist der Durchmesser (oder Radius (RA) (in 4C dargestellt) des unteren Umfangs 430 so definiert, dass sich das Sichtfeld von mindestens drei benachbarten Kameras 405 überlappt (z. B. sich überschneidet, sich mindestens in einem Punkt, einem Bereich und/oder einem Volumen im Raum überschneidet). Die Sensoren innerhalb der Kameras 405 sind innerhalb einer Ebene (die im Wesentlichen parallel zu einer Ebene durch den unteren Umfang 430 verläuft) angeordnet. In einigen Implementierungen kann sich ein gesamtes Sichtfeld (z. B. oder im Wesentlichen ein gesamtes Sichtfeld) von mindestens zwei benachbarten Kameras 405 mit einem Sichtfeld einer dritten der Kameras 405 (benachbart zu mindestens einer der zwei benachbarten Kameras 405) überlappen. In einigen Implementierungen kann sich das Sichtfeld eines beliebigen Satzes von drei benachbarten Kameras 405 überlappen, sodass ein beliebiger Punkt (z. B. jeder Punkt innerhalb einer Ebene durch die Sensoren der Kameras 405) rund um den unteren Umfang 430 durch mindestens drei Kameras 405 aufgenommen werden kann. Die Überlappung der drei benachbarten Kameras 405 kann wichtig sein, um 360°-Videos mit richtiger Tiefe, Bildschärfe usw. aufzunehmen. In some implementations, the diameter (or radius (RA) (in 4C shown) of the lower circumference 430 defined so that the field of view of at least three adjacent cameras 405 overlaps (eg intersects, overlaps at least one point, area and / or volume in space). The sensors inside the cameras 405 are within a plane (which is essentially parallel to a plane through the lower perimeter 430 runs) arranged. In some implementations, an entire field of view (eg, or substantially an entire field of view) may be from at least two adjacent cameras 405 with a field of view of a third of the cameras 405 (adjacent to at least one of the two adjacent cameras 405 ) overlap. In some implementations, the field of view of any set of three neighboring cameras may be 405 overlap so that any point (for example, every point within a plane through the sensors of the cameras 405 ) around the lower circumference 430 through at least three cameras 405 can be included. The overlap of the three neighboring cameras 405 may be important to capture 360 ° videos with proper depth, sharpness, etc.
In einigen Implementierungen weisen die Kameras 415 der oberen mehrflächigen Kappe 430 des Kameraträgersystems 400 nach außen (z. B. weisen von einer Mitte des Kameraträgersystems 400 weg). Gemäß einigen Implementierungen ist jede der Kameras 415 so ausgerichtet, dass eine Achse entlang eines Sichtfelds eines Objektivsystems der Kameras 415 nicht parallel zu den Achsen eines Sichtfelds eines Objektivsystems der Kameras 405 verläuft. Wie in 6 dargestellt, bilden zum Beispiel die Achsen für das Sichtfeld 610 der Kameras 415 einen spitzen Winkel mit den Achsen für das Sichtfeld 510 der Kameras 405 für jene Kameras 415, die direkt über den Kameras 405 am Kameragehäuse 420 (z. B. Kamera 415A und Kamera 405A) angeordnet sind. Außerdem bilden die Achsen für das Sichtfeld 610 der Kameras 415 einen stumpfen Winkel mit den Achsen für das Sichtfeld 510 der Kameras 405 für jene Kameras 415, die über den Kameras 405 an der gegenüberliegenden Seite des Kameragehäuses 420 (z. B. Kamera 415A und Kamera 405B) angeordnet sind. In some implementations, the cameras point 415 the upper multi-surface cap 430 of the camera carrier system 400 outward (e.g., pointing from a center of the camera carrier system 400 path). According to some implementations, each of the cameras is 415 aligned so that an axis along a field of view of a lens system of the cameras 415 not parallel to the axes of a field of view of a lens system of the cameras 405 runs. As in 6 represented, for example, form the axes for the field of view 610 the cameras 415 an acute angle with the axes for the field of view 510 the cameras 405 for those cameras 415 that are directly above the cameras 405 on the camera body 420 (eg camera 415A and camera 405A ) are arranged. In addition, form the axes for the field of view 610 the cameras 415 an obtuse angle with the axes for the field of view 510 the cameras 405 for those cameras 415 that over the cameras 405 on the opposite side of the camera body 420 (eg camera 415A and camera 405B ) are arranged.
In einigen Implementierungen ist jede der Kameras so konfiguriert, dass sich eine Achse 610 (in 6 dargestellt) durch ein Objektivsystem (z. B. eine Mitte eines Objektivs oder Aufnahmesensors) an einer Seite des Kameraträgersystems 400 durch die Mitte 630 des unteren kreisförmigen Umfangs erstrecken kann. Die Kameras 415 (oder Bildsensoren) sind in Kreisform rund um die obere mehrflächige Kappe 440 des Kameragehäuses 420 angeordnet, sodass jede der Kameras 415 eine Projektion (oder Mitte der Projektion) nach außen aufweist, die nicht parallel zur Normalen des unteren Umfangs 430 verläuft. In some implementations, each of the cameras is configured to be an axis 610 (in 6 through a lens system (eg, a center of a lens or pickup sensor) on one side of the camera support system 400 through the middle 630 may extend the lower circular circumference. The cameras 415 (or image sensors) are in a circle around the upper multi-surface cap 440 of the camera body 420 arranged so that each of the cameras 415 has a projection (or center of projection) outward that is not parallel to the normal of the lower circumference 430 runs.
In einigen Implementierungen sind die Kameras 415 an jeweiligen Flächen 445 der oberen mehrflächigen Kappe 440 angeordnet. Wie in 4A–4D dargestellt, ist zum Beispiel Kamera 415A an Fläche 445A angeordnet, Kamera 415B ist an Fläche 445B angeordnet und Kamera 415M ist an Fläche 445M angeordnet. Die Flächen 445 der oberen mehrflächigen Kappe 440 können auf einer Ebene in einem Winkel ausgerichtet sein, der sich vom Winkel der Ebene des unteren kreisförmigen Umfangs 430 unterscheidet. In einigen Implementierungen können die Stirnflächen 445, während die Kameras 405 des unteren kreisförmigen Umfangs 430 von der Mitte des Kameragehäuses 420 direkt nach außen weisen können, die Kameras 415, wie in 4A–4D dargestellt, nach oben und nach außen von der Mitte des Kameragehäuses 420 ausrichten. Mit anderen Worten können die Kameras 415 Projektionen aufweisen, die von einem inneren Teil des Kameraträgersystems 400 weg und nach oben weisen. Obgleich nicht dargestellt, kann in einigen Implementierungen eine ungerade Anzahl von Kameras 415 als Teil der oberen mehrflächigen Kappe 440 im Kameragehäuse 420 enthalten sein. In some implementations, the cameras are 415 on respective surfaces 445 the upper multi-surface cap 440 arranged. As in 4A - 4D is shown, for example, camera 415A on area 445A arranged, camera 415B is on area 445B arranged and camera 415M is on area 445M arranged. The surfaces 445 the upper multi-surface cap 440 can be oriented on a plane at an angle that differs from the angle of the plane of the lower circular circumference 430 different. In some implementations, the end faces 445 while the cameras 405 the lower circular circumference 430 from the middle of the camera body 420 can point directly to the outside, the cameras 415 , as in 4A - 4D shown, up and out from the center of the camera body 420 align. In other words, the cameras can 415 Have projections from an inner part of the camera support system 400 away and up. Although not shown, in some implementations an odd number of cameras may 415 as part of the upper multi-faceted cap 440 in the camera body 420 be included.
In einigen Implementierungen kann eine minimale oder maximale Geometrie der oberen mehrflächigen Kappe 440 auf Basis der Optik (z. B. Sichtfeld, Pixelauflösung) von einer oder mehreren Kameras 415 definiert werden. Ein minimaler Durchmesser und/oder ein maximaler Durchmesser der oberen mehrflächigen Kappe 440 kann zum Beispiel auf Basis eines Sichtfelds von mindestens einer der Kameras 415 definiert werden. In einigen Implementierungen kann ein relativ großes (oder breites) Sichtfeld mindestens einer der Kameras 415 (z. B. Sensoren der mindestens einen Kamera 415) in einer relativ kleinen oberen mehrflächigen Kappe 440 resultieren. Wie in 4A bis 4D dargestellt, ist zum Beispiel jede der Kameras 415 im Querformat (z. B. im Seitenverhältnis 3:4) angeordnet, sodass eine horizontale Dimension der Bilder, die von den Kameras 415 aufgenommen werden, größer ist als eine vertikale Dimension der Bilder, die von den Kameras 415 aufgenommen werden. In einigen Implementierungen kann jede der Kameras 415 in einem beliebigen Seitenverhältnis oder in einer beliebigen Ausrichtung (z. B. einem Seitenverhältnis von 16:9 oder 9:16, einem Seitenverhältnis von 4:3) angeordnet sein. In some implementations, a minimum or maximum geometry of the upper multi-faceted cap may 440 based on the optics (eg field of view, pixel resolution) of one or more cameras 415 To be defined. A minimum diameter and / or a maximum diameter of the upper multi-surface cap 440 can, for example, based on a field of view of at least one of the cameras 415 To be defined. In some implementations, a relatively large (or wide) field of view may be for at least one of the cameras 415 (eg sensors of the at least one camera 415 ) in a relatively small upper multi-surface cap 440 result. As in 4A to 4D For example, each of the cameras is shown 415 arranged in landscape orientation (for example, in 3: 4 aspect ratio), allowing a horizontal dimension of the images taken by the cameras 415 greater than a vertical dimension of the images taken by the cameras 415 be recorded. In some implementations, each of the cameras can 415 in any aspect ratio or orientation (e.g., 16: 9 aspect ratio or 9:16 aspect ratio, 4: 3 aspect ratio).
In einigen Implementierungen ist der Durchmesser (oder Radius) der oberen mehrflächigen Kappe 440 so definiert, dass sich das Sichtfeld von mindestens drei benachbarten Kameras 415 überlappt. In einigen Implementierungen kann sich ein gesamtes Sichtfeld (z. B. oder im Wesentlichen ein gesamtes Sichtfeld) von mindestens zwei benachbarten Kameras 415 mit einem Sichtfeld einer dritten der Kameras 415 (die mit mindestens einer der zwei benachbarten Kameras 415 benachbart ist) überlappen. In einigen Implementierungen kann sich das Sichtfeld eines beliebigen Satzes von drei benachbarten Kameras 415 überlappen, sodass ein beliebiger Punkt (z. B. jeder Punkt innerhalb einer Ebene durch die Sensoren der Kameras 415) rund um die obere mehrflächige Kappe 440 durch mindestens drei Kameras 415 aufgenommen werden kann. In some implementations, the diameter (or radius) of the upper multi-face cap is 440 defined so that the field of view of at least three adjacent cameras 415 overlaps. In some implementations, an entire field of view (eg, or substantially an entire field of view) may be from at least two adjacent cameras 415 with a field of view of a third of the cameras 415 (that with at least one of the two neighboring cameras 415 is adjacent) overlap. In some implementations, the field of view of any set of three neighboring cameras may be 415 overlap so that any point (for example, every point within a plane through the sensors of the cameras 415 ) around the upper multi-surface cap 440 through at least three cameras 415 can be included.
Gemäß einigen Implementierungen können die Stirnflächen 445 so abgewinkelt sein, dass die Kameras 415 Bilder aufnehmen, die außerhalb des Sichtfelds der Kameras 405 liegen. Da Kameras 405 zum Beispiel entlang dem unteren kreisförmigen Umfang 430 des Kameragehäuses 420 angeordnet sein können, sodass jede der Vielzahl von Kameras eine Projektionsnormale nach außen zum unteren kreisförmigen Umfang 430 aufweist, kann es sein, dass die Kameras 405 nicht in der Lage sind, Bilder direkt über dem Kameragehäuse 420 aufzunehmen. Demgemäß können die Stirnflächen 445 so abgewinkelt sein, dass die Kameras 415 Bilder direkt über dem Kameragehäuse 420 aufnehmen. According to some implementations, the end faces 445 be angled so that the cameras 415 Take pictures outside the field of view of the cameras 405 lie. Because cameras 405 for example along the lower circular circumference 430 of the camera body 420 may be arranged so that each of the plurality of cameras has a projection normal outward to the lower circular circumference 430 it may be that the cameras 405 unable to take pictures directly over the camera body 420 take. Accordingly, the end faces 445 be angled so that the cameras 415 Pictures directly above the camera body 420 take up.
Das Kameragehäuse 400 kann gemäß einigen Ausführungsformen ein Schaftgehäuse 450 beinhalten. Das Schaftgehäuse 450 kann eine oder mehrere Luftströmungskammern beinhalten, die so konfiguriert sind, dass sie Wärme von den Kameras 405 und 415 weg und in Richtung Boden des Kameraträgersystems 400 leiten. Gemäß einigen Implementierungen kann sich ein Lüfter 460 am Boden des Schaftgehäuses 450 befinden, um die Luftströmung durch das Kameraträgersystem 400 zu ermöglichen und Wärme vom Kameragehäuse 420 zu entfernen. The camera body 400 may according to some embodiments, a shaft housing 450 include. The shaft housing 450 may include one or more airflow chambers that are configured to receive heat from the cameras 405 and 415 away and towards the bottom of the camera carrier system 400 conduct. According to some implementations, a fan may become 460 at the bottom of the shaft housing 450 locate the air flow through the camera carrier system 400 to allow and heat from the camera body 420 to remove.
In einigen Implementierungen kann das Kameraträgersystem 400 ein Mikrofon (nicht dargestellt) für das Aufzeichnen von Ton beinhalten, der Bildern (und Videos) zugeordnet ist, die von den Kameras 405 und Kameras 410 aufgenommen werden. In einigen Implementierungen kann das Kameraträgersystem 400 eine Mikrofonhalterung beinhalten, an der ein externes Mikrofon angebracht und mit dem Kameraträgersystem 400 verbunden werden kann. In some implementations, the camera carrier system 400 include a microphone (not shown) for recording sound associated with images (and videos) taken by the cameras 405 and cameras 410 be recorded. In some implementations, the camera carrier system 400 include a microphone mount to which an external microphone is attached and to the camera support system 400 can be connected.
In einigen Implementierungen kann das Kameraträgersystem 400 einen Mechanismus für das Montieren an einem anderen Gerät, z. B. einem Stativ, beinhalten und der Montagemechanismus kann am Schaftgehäuse 450 angebracht sein. In einigen Implementierungen können eine oder mehrere Öffnungen so angeordnet (z. B. an einer unteren Seite des Kameraträgersystems 400 angeordnet) sein, dass das Kameraträgersystem 400 an einem Stativ montiert werden kann. In einigen Implementierungen kann der Kopplungsmechanismus für das Montieren des Kameraträgersystems 400 an einem anderen Gerät, wie z. B. einem Stativ, an einer der Stelle für eine Mikrofonhalterung gegenüberliegenden Seite angeordnet sein. In einigen Implementierungen kann der Kopplungsmechanismus für das Montieren des Kameraträgersystems 400 an einem anderen Gerät an derselben Seite wie der Stelle für die Mikrofonhalterung angeordnet sein. In some implementations, the camera carrier system 400 a mechanism for mounting on another device, eg. As a tripod, and the mounting mechanism can on the shaft housing 450 to be appropriate. In some implementations, one or more openings may be arranged (eg, on a lower side of the camera support system 400 arranged) that the camera carrier system 400 can be mounted on a tripod. In some implementations, the coupling mechanism may be for mounting the camera support system 400 on another device, such as As a tripod, be arranged at one of the site for a microphone holder opposite side. In some implementations, the coupling mechanism may be for mounting the camera support system 400 be arranged on another device on the same side as the location for the microphone holder.
In einigen Implementierungen kann das Kameraträgersystem 400 abnehmbar mit einem anderen Gerät, wie z. B. einem Fahrzeug (z. B. einem Luftfahrzeug wie einem Quadrocopter), gekoppelt sein. In einigen Implementierungen kann das Kameraträgersystem 400 aus einem Material hergestellt sein, das ausreichend leicht ist, sodass das Kameraträgersystem 400 und die zugehörigen Kameras 405, 415 mithilfe eines Luftfahrzeugs, wie z. B. eines Quadrocopters, bewegt werden können. In some implementations, the camera carrier system 400 removable with another device, such. A vehicle (eg, an aircraft such as a quadrocopter). In some implementations, the camera carrier system 400 be made of a material that is sufficiently light, so that the camera support system 400 and the associated cameras 405 . 415 using an aircraft, such as B. a quadrocopter, can be moved.
In einigen Implementierungen können die in dieser Offenbarung beschriebenen Kameraträgersysteme eine beliebige Anzahl von Kameras beinhalten, die an einem kreisförmigen Gehäuse montiert sind. In einigen Implementierungen können die Kameras abstandsgleich mit benachbarten Kameras an den jeweiligen vier Richtungen nach außen von der Mitte des kreisförmigen Trägersystems montiert sein. In diesem Beispiel können die Kameras, die als stereoskope Nachbarn konfiguriert sind, zum Beispiel nach außen entlang eines Umfangs ausgerichtet und in null Grad, neunzig Grad, einhundertachtzig Grad und zweihundertsiebzig Grad angeordnet sein, sodass jeder stereoskope Nachbar einen getrennten Quadranten eines 360-Grad-Sichtfelds aufnimmt. Im Allgemeinen bestimmt das auswählbare Sichtfeld der Kameras den Umfang der Überlappung der Kameraansicht eines stereoskopen Nachbarn sowie die Größe jeglicher toten Winkel zwischen den Kameras und zwischen benachbarten Quadranten. Ein exemplarisches Kameraträgersystem kann einen oder mehrere stereoskope Kameranachbarn einsetzen, die so konfiguriert sind, dass sie ein Feld von etwa 120 Grad bis etwa 180 Grad aufnehmen. In some implementations, the camera support systems described in this disclosure may include any number of cameras mounted on a circular housing. In some implementations, the cameras may be equidistantly mounted with adjacent cameras in the respective four directions outwardly from the center of the circular support system. For example, in this example, the cameras configured as stereoscopic neighbors may be outwardly aligned along a perimeter and located at zero degrees, ninety degrees, one hundred eighty degrees, and two hundred and seventy degrees such that each stereoscopic neighbor has a separate quadrant of 360 degrees. Field of view absorbs. In general, the selectable field of view of the cameras determines the amount of overlap of the camera view of a stereoscopic neighbor and the size of any blind spots between the cameras and between adjacent quadrants. An exemplary camera support system may employ one or more stereoscopic camera neighbors configured to record a field from about 120 degrees to about 180 degrees.
In einigen Implementierungen können die Kameragehäuse der mehrstufigen Kameraträgersysteme, die in dieser Offenbarung beschrieben sind, mit einem Durchmesser (z. B. Durchmesser 206 in 2) von etwa 5 Zentimetern bis etwa 8 Zentimetern konfiguriert sein, um menschliche Pupillenabstände nachzubilden, um aufzunehmen, was ein Benutzer sehen würde, wenn der Benutzer zum Beispiel seinen Kopf oder Körper viertelkreisförmig, halbkreisförmig, ganzkreisförmig oder einem anderen Teil einer Kreisform drehen würde. In einigen Implementierungen kann sich der Durchmesser auf einen Abstand über das Trägersystem oder Kameragehäuse von Kameraobjektiv zu Kameraobjektiv hinweg beziehen. In einigen Implementierungen kann sich der Durchmesser auf einen Abstand von einem Kamerasensor über das Trägersystem zu einem anderen Kamerasensor hinweg beziehen. In some implementations, the camera housings of the multi-stage camera support systems described in this disclosure may have a diameter (eg, diameter 206 in 2 ) may be configured from about 5 centimeters to about 8 centimeters to replicate human pupillary distances to accommodate what a user would see if, for example, the user rotated their head or body in a quarter circle, semicircle, full circle, or other part of a circular shape. In some implementations, the diameter may refer to a distance across the carrier system or camera body from camera lens to camera lens. In some implementations, the diameter may refer to a distance from one camera sensor via the carrier system to another camera sensor.
In einigen Implementierungen ist das Kameraträgersystem von etwa 8 Zentimeter bis etwa 25 Zentimeter vergrößert, um zum Beispiel zusätzliche Kamerabefestigungen darin unterzubringen. In einigen Implementierungen können weniger Kameras an einem Trägersystem mit einem kleineren Durchmesser verwendet werden. In diesem Beispiel können die in dieser Offenbarung beschriebenen Systeme Ansichten zwischen den Kameras am Trägersystem feststellen oder ableiten und jene Ansichten mit den tatsächlich aufgenommenen Ansichten verschachteln. In some implementations, the camera support system is increased from about 8 centimeters to about 25 centimeters to accommodate, for example, additional camera mounts therein. In some implementations, fewer cameras may be used on a smaller diameter carrier system. In this example, the systems described in this disclosure may detect or derive views between the cameras on the carrier system and interleave those views with the views actually taken.
In einigen Implementierungen können die in dieser Offenbarung beschriebenen Kameraträgersysteme verwendet werden, um ein Panoramabild aufzunehmen, indem sie zum Beispiel unter Verwendung einer Kamera mit einem drehbaren Objektiv oder einer drehbaren Kamera ein gesamtes Panorama in einer Einzelaufnahme aufnehmen. Die oben beschriebenen Kameras und Kameraträgersystems können mit den in dieser Offenbarung beschriebenen Verfahren verwendet werden. Insbesondere kann ein Verfahren, das in Bezug auf ein Kameraträgersystem beschrieben ist, mithilfe eines der anderen Kameraträgersysteme durchgeführt werden, die hierin beschrieben sind. In einigen Implementierungen können die Kameraträgersysteme und nachfolgend aufgenommenen Inhalte mit anderen Inhalten, wie z. B. virtuellen Inhalten, wiedergegebenen Computergrafik-(CG)-Inhalten und/oder anderen erhaltenen oder erzeugten Bildern, kombiniert werden. In some implementations, the camera support systems described in this disclosure may be used to capture a panoramic image, for example, by taking an entire panorama in a single shot using a camera having a rotatable lens or a rotatable camera. The cameras and camera support system described above may be used with the methods described in this disclosure. In particular, a method described with respect to a camera carrier system may be performed using any of the other camera carrier systems described herein. In some implementations, the camera support systems and subsequently captured content may be associated with other content, such as content. Virtual content, rendered computer graphics (CG) content, and / or other acquired or generated images.
Im Allgemeinen können Bilder, die mithilfe von mindestens drei Kameras (z. B. 405A, 405B, 405C) am Kameraträgersystem 400 aufgenommen wurden, verwendet werden, um Tiefenmaße für eine bestimmte Szene zu berechnen. Die Tiefenmaße können verwendet werden, um Teile der Szene (oder Bilder aus der Szene) in stereoskope 3D-Inhalte zu übersetzen. Das Interpolationsmodul 114 kann zum Beispiel die Tiefenmaße verwenden, um stereoskope 3D-Bilder zu produzieren, die in 360-Grad-Stereo-Videobildmaterial zusammengesetzt werden können. In general, pictures taken using at least three cameras (eg. 405A . 405B . 405C ) on the camera carrier system 400 used to calculate depth measures for a particular scene. The depth measures can be used to translate parts of the scene (or images from the scene) into stereoscopic 3D content. The interpolation module 114 For example, you can use the depth measures to produce stereoscopic 3D images that can be assembled into 360-degree stereo video footage.
In einigen Implementierungen kann das Kameraträgersystem 400 alle Strahlen aufnehmen, die durch die omindirektionale Stereo(ODS)-Projektion benötigt werden, die zum Beispiel in 19 dargestellt ist, und gleichzeitig die Bildqualität maximieren und Bildverzerrungen zu minimieren. In some implementations, the camera carrier system 400 pick up all the rays that are needed by the omindirectional stereo (ODS) projection, for example, in 19 while maximizing image quality and minimizing image distortion.
Die Kameras (für jede Stufe) entlang einer Kreisform des Radius R, der größer als der Radius des ODS-Betrachtungskreises r (nicht dargestellt) ist. Ein ODS-Strahl, der durch eine Kamera geht, tut dies in einem Winkel sin–1(r/R) zur Normalen des Kreises, auf dem sich die Kameras befinden. Zwei unterschiedliche Kameralayouts sind möglich: ein tangentiales Layout (nicht dargestellt) und ein radiales, wie zum Beispiel in den jeweiligen in 4A bis 4D dargestellten Stufen des Kameraträgersystems 400. The cameras (for each stage) along a circular shape of radius R that is larger than the radius of the ODS viewing circle r (not shown). An ODS beam passing through a camera does so at an angle sin -1 (r / R) to the normal of the circle on which the cameras are located. Two different camera layouts are possible: a tangential layout (not shown) and a radial, such as in the respective in 4A to 4D illustrated stages of the camera support system 400 ,
Im tangentialen Layout sind die Hälfte der Kameras für die Aufnahme von Strahlen für das linke Bild und die andere Hälfte für die Aufnahme von Strahlen für das rechte Bild bestimmt, wobei jede Kamera so ausgerichtet ist, dass ein ODS-Strahl, der durch sie hindurch geht, dies entlang ihrer optischen Achse tut. In the tangential layout, half of the cameras are for taking rays for the left image and the other half for taking rays for the right image, with each camera oriented so that an ODS ray passes through them doing this along its optical axis.
Andererseits verwendet das radiale Layout des Kameraträgersystems 400 alle Kameras, um Strahlen sowohl für die linken als auch die rechten Bilder aufzunehmen, weshalb jede Kamera direkt nach außen weist. On the other hand, uses the radial layout of the camera support system 400 all cameras to capture beams for both the left and right images, which is why each camera points directly outward.
In einigen Implementierungen ist der Vorteil des radialen Designs des Kameraträgersystems 400, dass die Bildinterpolation zwischen benachbarten Kameras erfolgt, während sie beim tangentialen Design zwischen jeder zweiten Kamera erfolgen muss, was die Basislinie für das Ansichtsinterpolationsproblem verdoppelt und sie schwieriger macht. In einigen Implementierungen muss jede Kamera des Kameraträgersystems 400 des radialen Designs Strahlen für das linke und rechte Bild aufnehmen, während das horizontale Sichtfeld, das von jeder Kamera benötigt wird, um 2 sin–1(r/R) erhöht wird. In der Praxis bedeutet dies, dass das radiale Design des Kameraträgersystems 400 für größere Trägersystemradien besser sein kann und das tangentiale Design für kleinere Radien besser sein kann. In some implementations, the advantage of the radial design of the camera support system 400 in that the image interpolation is done between adjacent cameras, while in the tangential design it has to be done between every other camera, which doubles the base line for the view interpolation problem and makes it more difficult. In some implementations, each camera of the camera carrier system must 400 of the radial design picks up rays for the left and right images, while the horizontal field of view required by each camera is increased by 2 sin -1 (r / R). In practice, this means that the radial design of the camera support system 400 can be better for larger vehicle radii and the tangential design can be better for smaller radii.
Die im Kameraträgersystem 400 enthaltenen Kameras können zum Beispiel etwa 3 cm breit sein und daher begrenzen, wie klein das Kameraträgersystem 400 hergestellt werden kann. Demgemäß kann das radiale Design in einigen Implementierungen geeigneter sein, wobei die weitere Erläuterung auf diesem Layout basiert. In einigen Implementierungen kann die Geometrie des Kameraträgersystems 400 durch 3 Parameter beschrieben werden (siehe 4C). Der Radius R des Kameraträgersystems, das horizontale Sichtfeld der Kameras γ und die Anzahl der Kameras n. Das hierin beschriebene Kameraträgersystem 400 erreicht mindestens die unten angegebenen Überlegungen:
- – Minimierung des Trägersystemdurchmessers R und dadurch Verringerung der vertikalen Verzerrung.
- – Minimierung des Abstands zwischen benachbarten Kameras und dadurch Verringerung der Basislinie für die Ansichtsinterpolation.
- – Ausreichendes horizontales Sichtfeld für jede Kamera, sodass Inhalte mindestens in einem gewissen Abstand d von der Kameraträgersystemmitte zusammengesetzt werden können.
- – Maximierung des vertikalen Sichtfelds jeder Kamera, was zu einem großen vertikalen Sichtfeld im ausgegebenen Video führt.
- – Maximierung der gesamten Bildqualität, was im Allgemeinen die Verwendung großer Kameras erfordert.
The in the camera carrier system 400 For example, included cameras may be about 3 inches wide and therefore limit how small the camera carrier system is 400 can be produced. Accordingly, the radial design may be more appropriate in some implementations, with further explanation based on this layout. In some implementations, the geometry of the camera carrier system 400 be described by 3 parameters (see 4C ). The radius R of the camera support system, the horizontal field of view of the cameras γ, and the number of cameras n. The camera support system described herein 400 achieves at least the following considerations: - - Minimizing the carrier system diameter R and thereby reducing the vertical distortion.
- - Minimizing the distance between adjacent cameras and thereby reducing the base line for the view interpolation.
- - Sufficient horizontal field of view for each camera so that contents can be put together at least a certain distance d from the center of the camera support system.
- - Maximize the vertical field of view of each camera, resulting in a large vertical field of view in the output video.
- - Maximizing overall image quality, which generally requires the use of large cameras.
Zwischen benachbarten Kameras in einem Ring (oder einer Stufe) des Kameraträgersystems 400 können Ansichten auf einer geraden Linie synthetisiert werden, die zwischen den zwei Kameras liegt, und diese synthetisierten Ansichten können nur Punkte beinhalten, die durch beide Kameras beobachtet werden. 4C zeigt das durch eine Kamera zu beobachtende Volumen, um das Zusammensetzen für alle Punkte mit Abständen von der Mitte des Kameraträgersystems 400 von mindestens d zu ermöglichen. Between adjacent cameras in a ring (or stage) of the camera support system 400 For example, views can be synthesized on a straight line that lies between the two cameras, and these synthesized views can only include points observed by both cameras. 4C shows the volume to be observed by a camera to assemble for all points spaced from the center of the camera support system 400 of at least d.
Bei einem Ring mit Radius R, der n Kameras enthält, kann das minimale erforderliche horizontale Sichtfeld für jede Kamera wie folgt abgeleitet werden: For a ring of radius R containing n cameras, the minimum required horizontal field of view for each camera can be derived as follows:
In einigen Implementierungen können die Panoramabilder, die durch jede der Stufen produziert werden, die in einem Kameraträgersystem (z. B. dem Kameraträgersystem 400) enthalten sind, eine Überlappung von mindestens 10 Grad im gewünschten minimalen Zusammensetzungsabstand (z. B. etwa 0,5 m) aufweisen. Mehr Details sind offenbart in Anderson et al., „Jump: Virtual Reality Video“, ACM Transactions on Graphics (TOG), Proceedings of ACM SIGGRAPH Asia 2016, Band. 35, Ausgabe 6, Art. Nr. 198, November 2016 , das in seiner Gesamtheit durch Bezugnahme hierin einbezogen wird. In some implementations, the panoramic images produced by each of the stages produced in a camera carrier system (eg, the camera carrier system 400 ) have an overlap of at least 10 degrees at the desired minimum composition spacing (eg, about 0.5 m). More details are disclosed in Anderson et al., "Jump: Virtual Reality Video", ACM Transactions on Graphics (TOG), Proceedings of ACM SIGGRAPH Asia 2016, Volume. 35, Issue 6, Art. No. 198, November 2016 , which is incorporated herein by reference in its entirety.
7 zeigt ein Diagramm, das ein exemplarisches VR-Gerät (VR-Headset) 702 veranschaulicht. Ein Benutzer kann das VR-Headset 702 aufsetzen, indem er das Headset 702, ähnlich wie eine Brille, Sonnenbrille usw., über den Augen platziert. In einigen Implementierungen kann, bezugnehmend auf 1, das VR-Headset 702 mit einer Reihe von Monitoren der Computergeräte 106, 108 oder 112 mithilfe eines oder mehrerer drahtgebundener und/oder drahtloser Hochgeschwindigkeits-Kommunikationsprotokolle (z. B. WLAN, Bluetooth, Bluetooth LE, USB usw.) oder mithilfe einer HDMI-Schnittstelle verbunden/schnittstellenmäßig verbunden sein. Die Verbindung kann die virtuellen Inhalte dem VR-Headset 702 zur Anzeige für den Benutzer auf einem Bildschirm (nicht dargestellt) bereitstellen, der im VR-Headset 702 enthalten ist. In einigen Implementierungen kann das VR-Headset 702 ein cast-fähiges Gerät sein. In diesen Implementierungen kann sich der Benutzer entscheiden, die Inhalte für das VR-Headset 702 bereitzustellen oder zu „casten“ (projizieren). 7 shows a diagram illustrating an exemplary VR device (VR headset) 702 illustrated. A user can use the VR headset 702 Put on the headset 702 , similar to glasses, sunglasses, etc., placed over the eyes. In some implementations, referring to FIG 1 , the VR headset 702 with a series of monitors of computer equipment 106 . 108 or 112 using one or more wired and / or wireless high-speed communication protocols (eg, WLAN, Bluetooth, Bluetooth LE, USB, etc.) or connected / interfaced using an HDMI interface. The connection can be the virtual content of the VR headset 702 to display to the user on a screen (not shown) in the VR headset 702 is included. In some implementations, the VR headset may 702 be a castable device. In these implementations, the user may decide the contents for the VR headset 702 to provide or "cast" (project).
Außerdem kann das VR-Headset 702 mit dem Computergerät 104 mithilfe einer/eines oder mehrerer drahtgebundener und/oder drahtloser Hochgeschwindigkeits-Kommunikationsschnittstellen und -protokolle (z. B. WLAN, Bluetooth, Bluetooth LE, Universal Serial Bus (USB) usw.) verbunden/schnittstellenmäßig verbunden sein. Ein Computergerät (1) kann die Schnittstelle zum VR-Headset 702 erkennen und in Reaktion darauf eine VR-Anwendung ausführen, die den Benutzer und das Computergerät in einer computererzeugten 3D-Umgebung (einem VR-Raum) wiedergibt, der virtuelle Inhalte beinhaltet. In addition, the VR headset 702 with the computer device 104 connected / interfaced with one or more high-speed wired and / or wireless communication interfaces and protocols (eg, WLAN, Bluetooth, Bluetooth LE, Universal Serial Bus (USB), etc.). A computer device ( 1 ) can be the interface to the VR headset 702 recognize and in response execute a VR application representing the user and the computing device in a computer-generated 3D environment (VR space) that includes virtual content.
In einigen Implementierungen kann das VR-Headset 702 ein abnehmbares Computergerät beinhalten, das eine VR-Anwendung ausführen kann. Das abnehmbare Computergerät kann den Computergeräten 108 oder 112 ähnlich sein. Das abnehmbare Computergerät kann innerhalb eines Gehäuses oder Rahmens eines VR-Headsets (z. B. des VR-Headsets 702) enthalten sein, das dann von einem Benutzer des VR-Headsets 702 aufgesetzt werden kann. In diesen Implementierungen kann das abnehmbare Computergerät eine Anzeige oder einen Bildschirm bereitstellen, die/den der Benutzer sieht, wenn er mit der computererzeugten 3D-Umgebung (einem VR-Raum) interagiert. Wie oben beschreiben kann sich das Computergerät 104 mithilfe eines drahtgebundenen oder drahtlosen Schnittstellenprotokolls mit dem VR-Headset 702 verbinden. Das mobile Computergerät 104 kann ein Controller im VR-Raum sein, kann als Objekt im VR-Raum erscheinen, kann Eingaben für den VR-Raum bereitstellen und Rückmeldungen/Ausgaben vom VR-Raum empfangen. In some implementations, the VR headset may 702 include a removable computing device that can run a VR application. The removable computing device may be used by the computing devices 108 or 112 be similar to. The removable computing device may be mounted within a housing or frame of a VR headset (eg, the VR headset 702 ), then by a user of the VR headset 702 can be put on. In these implementations, the detachable computing device may provide a display or screen that the user sees when interacting with the computer generated 3D environment (a VR space). As described above, the computing device may be 104 using a wired or wireless interface protocol with the VR headset 702 connect. The mobile computing device 104 may be a controller in VR space, may appear as an object in VR space, may provide inputs to VR space and receive feedback / output from VR space.
In einigen Implementierungen kann das mobile Computergerät 108 eine VR-Anwendung ausführen und Daten für das VR-Headset 702 für die Erstellung des VR-Raums bereitstellen. In einigen Implementierungen können die Inhalte für den VR-Raum, die dem Benutzer auf einem Bildschirm angezeigt werden, der im VR-Headset 702 enthalten ist, auch auf einem Anzeigegerät angezeigt werden, das im mobilen Computergerät 108 enthalten ist. Dies ermöglicht es einer anderen Person, die Interaktion des Benutzers mit dem VR-Raum zu sehen. In some implementations, the mobile computing device may 108 run a VR application and data for the VR headset 702 provide for the creation of the VR room. In some implementations, the contents of the VR space that are displayed to the user on a screen may be in the VR headset 702 is also displayed on a display device that is in the mobile computing device 108 is included. This allows another person to see the user's interaction with VR space.
Das VR-Headset 702 kann Informationen und Daten bereitstellen, die eine Position und Ausrichtung des mobilen Computergeräts 108 angeben. Die VR-Anwendung kann die Positions- und Ausrichtungsdaten als Angabe der Benutzerinteraktionen im VR-Raum empfangen und verwenden. The VR headset 702 can provide information and data representing a location and orientation of the mobile computing device 108 specify. The VR application can receive and use the position and orientation data as an indication of user interaction in VR space.
8 zeigt eine exemplarische Grafik 800, die eine Reihe von Kameras (und Nachbarn) in Abhängigkeit von einem Kamerasichtfeld für eine Stufe eines mehrstufigen Kameraträgersystems veranschaulicht. Die Grafik 800 stellt eine exemplarische Grafik dar, die verwendet werden kann, um die Anzahl der Kameras zu bestimmen, die an einer Stufe des mehrstufigen Kameraträgersystems für ein vorher definiertes Sichtfeld für das Erzeugen eines stereoskopen Panoramas angeordnet werden können. Die Grafik 800 kann verwendet werden, um Kameraeinstellungen und Kameraplatzierung zu berechnen, um ein bestimmtes Stereo-Panoramaergebnis sicherzustellen. Eine exemplarische Einstellung kann die Auswahl einer Reihe von Kameras beinhalten, die an einem bestimmten Kameraträgersystem befestigt werden. Eine andere Einstellung kann das Bestimmen von Algorithmen beinhalten, die während der Aufnahme-, Vor- oder Nachbearbeitungsschritte verwendet werden. Für optische Flussinterpolationstechniken kann zum Beispiel das Zusammensetzen eines vollständigen 360-Grad-Panoramas vorschreiben, dass jede optische Strahlrichtung von mindestens zwei Kameras gesehen werden sollte. Dies kann die Mindestanzahl der zu verwendenden Kameras beschränken, um die vollständigen 360 Grad in Abhängigkeit vom Kamerasichtfeld theta [θ] abzudecken. Optische Flussinterpolationstechniken können entweder durch Kameranachbarn (oder -paare) oder durch individuelle Kameras durchgeführt und konfiguriert werden. 8th shows an exemplary graphic 800 which illustrates a series of cameras (and neighbors) in response to a camera field of view for a stage of a multi-stage camera support system. The graphic 800 FIG. 12 illustrates an exemplary graph that may be used to determine the number of cameras that may be placed on a stage of the multi-level camera support system for a previously defined field of view for creating a stereoscopic panorama. The graphic 800 can be used to calculate camera settings and camera placement to ensure a specific stereo panorama result. An exemplary setting may include selection of a series of cameras that are attached to a particular camera carrier system. Another setting may involve determining algorithms used during the recording, pre-processing or post-processing steps. For optical flux interpolation techniques, for example, composing a complete 360 degree panorama may dictate that each optical beam direction should be viewed by at least two cameras. This may limit the minimum number of cameras to be used to cover the full 360 degrees depending on the camera field of view theta [θ]. Optical flux interpolation techniques can be performed and configured by either camera neighbors (or pairs) or by individual cameras.
Wie in 8 dargestellt, wird eine Grafik gezeigt, die eine Funktion 802 veranschaulicht. Die Funktion 802 stellt eine Anzahl der Kamera [n] 804 in Abhängigkeit vom Kamerasichtfeld [θ] 806 dar. In diesem Beispiel wird ein Kamerasichtfeld von etwa 95 Grad durch Linie 808 dargestellt. Der Schnittpunkt 810 der Linie 808 und Funktion 802 zeigen, dass die Verwendung von sechzehn (16) Kameras jeweils mit einem Sichtfeld von 95 Grad ein wünschenswertes Panoramaergebnis liefern würde. In diesem Beispiel kann das Kameraträgersystem durch Verschachteln benachbarter Kameras für jeden benachbarten Satz von Kameras konfiguriert werden, um jedweden Raum zu nutzen, der beim Platzieren von benachbarten Kameras an einem Gestell auftreten kann. As in 8th is shown, a graph showing a function 802 illustrated. The function 802 represents a number of the camera [n] 804 depending on camera field of view [θ] 806 In this example, a camera field of view becomes about 95 degrees by line 808 shown. The point of intersection 810 the line 808 and function 802 show that the use of sixteen (16) cameras each with a field of view of 95 degrees would provide a desirable panorama result. In this example, the camera-carrier system may be configured by interleaving neighboring cameras for each adjacent set of cameras to use any space that may occur when placing adjacent cameras on a rack.
Neben dem Verschachteln der benachbarten Kameras kann die optische Flussanforderung vorschreiben, dass das System 100 den optischen Fluss zwischen Kameras desselben Typs berechnet. Das heißt, der optische Fluss kann für eine erste Kamera und dann für eine zweite Kamera berechnet werden, statt beide gleichzeitig zu berechnen. Im Allgemeinen kann der Fluss bei einem Pixel als eine Ausrichtung (z. B. Richtung und Winkel) und eine Größenordnung (z. B. Geschwindigkeit) berechnet werden. In addition to nesting the neighboring cameras, the optical flow requirement may dictate that the system 100 calculates the optical flow between cameras of the same type. That is, the optical flow can be calculated for a first camera and then for a second camera, rather than calculating both simultaneously. In general, the flow at a pixel can be calculated as an orientation (e.g., direction and angle) and magnitude (e.g., velocity).
9 zeigt eine exemplarische Grafik 900, die ein interpoliertes Sichtfeld [θ1] 902 in Abhängigkeit vom Kamerasichtfeld [θ] 904 veranschaulicht. Die Grafik 900 kann verwendet werden, um zu bestimmen, welcher Teil des Sichtfelds der Kamera mit ihrem linken oder rechten Nachbarn gemeinsam genutzt wird. Hier wird bei einem Kamerasichtfeld von etwa 95 Grad (dargestellt durch Linie 906), das interpolierte Sichtfeld, wie durch den Schnittpunkt 908 dargestellt, als etwa 48 Grad dargestellt. 9 shows an exemplary graphic 900 having an interpolated field of view [θ1] 902 depending on camera field of view [θ] 904 illustrated. The graphic 900 can be used to determine which part of the field of view of the camera is shared with its left or right neighbor. Here is at a camera field of view of about 95 degrees (represented by line 906 ), the interpolated field of view, as through the intersection 908 shown as shown about 48 degrees.
Da diese zwei aufeinanderfolgenden Kameras normalerweise nicht Bilder des genau gleichen Sichtfelds aufnehmen, wird das Sichtfeld einer interpolierten Kamera durch den Schnittpunkt der Sichtfelder der Kameranachbarn dargestellt. Das interpolierte Sichtfeld [θ1] kann dann eine Funktion des Kamerasichtfelds [θ] und des Winkels zwischen den Kameranachbarn sein. Wenn die Mindestanzahl an Kameras für ein bestimmtes Kamerasichtfeld (mithilfe des in 8 dargestellten Verfahrens) ausgewählt ist, kann [θ1], wie in 9 dargestellt, in Abhängigkeit von [θ] berechnet werden. Since these two consecutive cameras usually do not take pictures of the same field of view, the field of view of an interpolated camera is represented by the intersection of the fields of view of the camera neighbors. The interpolated field of view [θ1] may then be a function of the camera field of view [θ] and the angle between the camera neighbors. When the minimum number of cameras for a particular camera field of view (using the in 8th 1), [θ1] may be selected as shown in FIG 9 are calculated as a function of [θ].
10 zeigt eine exemplarische Grafik 1000, die die Auswahl einer Konfiguration für ein Kameraträgersystem veranschaulicht. Grafik 1000 kann insbesondere verwendet werden, um zu bestimmen, wie groß ein bestimmtes Kameraträgersystem entworfen werden kann. Grafik 1000 zeigt eine grafische Darstellung eines Zusammensetzungsverhältnisses [d/D] 1002 in Abhängigkeit vom Trägersystemdurchmesser [D in Zentimeter] 1004. Um ein angenehmes Virtual-Reality-Panoramabetrachtungserlebnis zu produzieren, wird in den Beispielen dieser Offenbarung ein Ominstereo-Zusammensetzungsdurchmesser [d] von etwa 5 Zentimeter bis etwa 6,5 Zentimeter ausgewählt, der für den menschlichen IPD typisch ist. In einigen Implementierungen kann Omnistereo-Zusammensetzung mithilfe eines Aufnahmedurchmessers [D] durchgeführt werden, der in etwa gleich dem Zusammensetzungsdurchmesser [d] ist. Das heißt, die Beibehaltung eines Zusammensetzungsverhältnisses von etwa „1“ kann für ein einfacheres Zusammensetzen zum Beispiel bei der Nachbearbeitung von Omnistereo-Bildern sorgen. Diese bestimmte Konfiguration kann Verzerrungen minimieren, da die optischen Strahlen, die für das Zusammensetzen verwendet werden, dieselben wie die tatsächlichen, von der Kamera aufgenommenen Strahlen sind. Das Erhalten eines Zusammensetzungsverhältnisses von „1“ kann schwierig sein, wenn die ausgewählte Anzahl an Kameras hoch ist (z. B. 12 bis 18 Kameras pro Trägersystem beträgt). 10 shows an exemplary graphic 1000 which illustrates the selection of a configuration for a camera carrier system. graphic 1000 In particular, it can be used to determine how large a particular camera carrier system can be designed. graphic 1000 shows a graphical representation of a composition ratio [d / D] 1002 depending on the carrier system diameter [D in centimeters] 1004 , In order to produce a pleasing virtual reality panorama viewing experience, in the examples of this disclosure, an Omin stereo composition diameter [d] of about 5 centimeters to about 6.5 centimeters is selected which is typical of human IPD. In some implementations, omnidirectional composition may be performed using a receiving diameter [D] that is approximately equal to the composition diameter [d]. That is, maintaining a composition ratio of about "1" can provide easier assembly, for example, in post-processing omni-stereo images. This particular configuration can minimize distortion because the optical beams used for compositing are the same as the actual beams picked up by the camera. Obtaining a composition ratio of "1" may be difficult if the selected number of cameras is high (eg, 12 to 18 cameras per carrier system).
Um das Problem von zu vielen Kameras am Trägersystem abzumildern, kann die Trägersystemgröße mit einer größeren Größe entworfen werden, um die zusätzlichen Kameras unterzubringen und ein Gleichbleiben (oder ein im Wesentlichen Gleichbleiben) des Zusammensetzungsverhältnisses zu ermöglichen. Um sicherzustellen, dass der Zusammensetzungsalgorithmus Inhalte in Bildern abtastet, die in der Nähe der Mitte des Objektivs während der Aufnahme aufgenommen werden, kann das Zusammensetzungsverhältnis fest sein, um einen Winkel [α] der Kameras in Bezug auf das Trägersystem zu bestimmen. 10 zeigt zum Beispiel, dass eine Abtastung in der Nähe der Mitte des Objektivs die Bildqualität verbessert und geometrische Verzerrungen minimiert. Insbesondere können kleinere Winkel [α] dazu beitragen, Trägersystemverdeckungen (z. B. Kameras, die Teile des Trägersystems selbst abbilden) zu vermeiden. To mitigate the problem of too many cameras on the carrier system, the carrier system size may be designed with a larger size to accommodate the additional cameras and allow for a consistent (or substantially consistent) composition ratio. To ensure that the compositing algorithm scans content in images taken near the center of the lens during recording, the composition ratio may be fixed to determine an angle [α] of the cameras with respect to the carrier system. 10 For example, it shows that sampling near the center of the lens improves image quality and minimizes geometric distortions. In particular, smaller angles [α] may help to avoid carrier system occlusions (eg, cameras imaging parts of the carrier system itself).
Wie in 10 bei 1006 dargestellt, entspricht ein Zusammensetzungsverhältnis [d/D] von 0,75 einem Trägersystemdurchmesser von etwa 6,5 Zentimeter (d. h. dem typischen menschlichen IPD). Eine Verringerung des Zusammensetzungsverhältnisses [d/D] auf etwa 0,45 ermöglicht eine Vergrößerung des Trägersystemdurchmessers auf etwa 15 Zentimeter (bei 1008 dargestellt), was das Hinzufügen zusätzlicher Kameras zum Trägersystem ermöglichen kann. Der Winkel der Kameras in Bezug auf das Kameraträgersystem kann auf Basis des ausgewählten Zusammensetzungsverhältnisses angepasst werden. Das Anpassen der Kamerawinkel auf etwa 30 Grad gibt an, dass der Trägersystemdurchmesser bis zu etwa 12,5 Zentimeter groß sein kann. Ähnlich gibt das Anpassen der Kamerawinkel auf etwa 25 Grad an, dass der Trägersystemdurchmesser bis zu etwa 15 Zentimeter groß sein und zum Beispiel bei erneuter Wiedergabe für einen Benutzer dennoch die richtigen Parallaxe und Sichteffekte beibehalten kann. As in 10 at 1006 , a composition ratio [d / D] of 0.75 corresponds to a carrier system diameter of about 6.5 centimeters (ie, the typical human IPD). Reducing the composition ratio [d / D] to about 0.45 allows the carrier diameter to be increased to about 15 centimeters (at 1008 shown), which may allow adding additional cameras to the carrier system. The angle of the cameras with respect to the camera support system may be adjusted based on the selected composition ratio. Adjusting the camera angle to about 30 degrees indicates that the carrier system diameter can be up to about 12.5 inches tall. Similarly, adjusting the camera angles to about 25 degrees indicates that the carrier system diameter can be up to about 15 centimeters in size and still retain the proper parallax and visual effects to a user when replayed, for example.
Im Allgemeinen kann bei einem gegebenen Trägersystemdurchmesser [D] ein optimaler Kamerawinkel [α] berechnet werden. Aus [α] kann ein maximales Sichtfeld [Θu] berechnet werden. Das maximale Sichtfeld [Θu] entspricht im Allgemeinen dem Sichtfeld, bei dem das Trägersystem die Kameras nicht teilweise verdeckt. Das maximale Sichtfeld kann begrenzen, wie wenige Kameras das Kameraträgersystem halten und kann trotzdem Ansichten liefern, die nicht verdeckt sind. In general, for a given carrier system diameter [D], an optimal camera angle [α] can be calculated. From [α] a maximum field of view [Θ u ] can be calculated. The maximum field of view [Θ u ] generally corresponds to the field of view in which the carrier system does not partially obscure the cameras. The maximum field of view may limit how few cameras hold the camera support system and still provide views that are not obscured.
11 zeigt eine Grafik 1100, die eine exemplarische Beziehung veranschaulicht, die verwendet werden kann, um eine Mindestanzahl von Kameras für eine Stufe eines mehrstufigen Kameraträgersystems gemäß einem vorher festgelegten Trägersystemdurchmesser zu bestimmen. Hier ist die Mindestanzahl der Kameras in einer Stufe [nmin] 1102 für einen bestimmten Trägersystemdurchmesser [D] 1104 dargestellt. Der Trägersystemdurchmesser [D] 1104 begrenzt das maximale nicht verdeckte Sichtfeld, das dazu dient, die Mindestanzahl der Kameras zu begrenzen. Wie in der Grafik bei 1106 dargestellt, können für einen Trägersystemdurchmesser von etwa 10 Zentimetern mindestens sechzehn (16) Kameras in einer Stufe des Kameraträgersystems verwendet werden, um eine nicht verdeckte Ansicht bereitzustellen. Das Ändern des Trägersystemdurchmessers kann eine Erhöhung oder Verringerung bei der Anzahl der Kameras, die am Trägersystem platziert werden, ermöglichen. In einem Beispiel kann das Trägersystem etwa 12 bis etwa 16 Kameras bei einer Trägersystemgröße von etwa 8 bis etwa 25 Zentimetern unterbringen. 11 shows a graphic 1100 , which illustrates an exemplary relationship that may be used to determine a minimum number of cameras for a stage of a multi-stage camera frame system according to a predetermined carrier system diameter. Here is the minimum number of cameras in one stage [nmin] 1102 for a given carrier system diameter [D] 1104 shown. The carrier system diameter [D] 1104 limits the maximum unobstructed field of view, which serves to limit the minimum number of cameras. As in the graphic 1106 For example, for a gantry diameter of about 10 centimeters, at least sixteen (FIG. 16 ) Cameras are used in one stage of the camera support system to provide an unobstructed view. Changing the carrier system diameter may allow an increase or decrease in the number of cameras placed on the carrier system. In one example, the carrier system may accommodate from about 12 to about 16 cameras at a carrier system size of about 8 to about 25 centimeters.
Da andere Verfahren verfügbar sind, um das Sichtfeld und die Bildaufnahme-Einstellungen anzupassen, können die Berechnungen mit diesen anderen Verfahren kombiniert werden, um die Kameraträgersystemabmessungen weiter zu verfeinern. Optische Flussalgorithmen können zum Beispiel verwendet werden, um die Anzahl der Kameras zu ändern (z. B. zu verringern), die normalerweise zum Zusammensetzen eines Omnistereo-Panoramas verwendet werden. In einigen Implementierungen können die Grafiken, die in dieser Offenbarung dargestellt oder von Systemen oder Verfahren erzeugt werden, die in dieser Offenbarung beschrieben sind, in Kombination verwendet werden, um virtuelle Inhalte für die Wiedergabe zum Beispiel in einem HMD-Gerät zu erzeugen. Because other methods are available to adjust the field of view and image capture settings, the calculations can be combined with these other techniques to further refine the camera frame system dimensions. For example, optical flow algorithms can be used to change (eg, decrease) the number of cameras that are normally used to assemble an omni-stereo panorama. In some implementations, the graphics depicted in this disclosure or generated by systems or methods described in this disclosure may be used in combination to generate virtual content for playback, for example, in an HMD device.
12A–B stellen Strichzeichnungsbeispiele der Verzerrungen dar, die während der Bildaufnahme auftreten können. Insbesondere entspricht die hier dargestellte Verzerrung Effekten, die beim Aufnehmen von Stereopanoramen auftreten. Im Allgemeinen kann die Verzerrung stärker sein, wenn die Szene in der Nähe einer Kamera aufgenommen wird, die die Szene aufnimmt. 12A stellt eine Ebene in einer Szene dar, die zwei Meter mal zwei Meter ist und einen Meter von einer Kameramitte nach außen angeordnet ist. 12B ist dieselbe Ebene wie 12A, jedoch ist die Ebene in dieser 25 Zentimeter nach außen von der Kamera angeordnet. Beide Figuren verwenden einen Aufnahmedurchmesser von 6,5 Zentimetern. 12A stellt eine leichte Dehnung in der Nähe der Mitte bei 1202 dar, während 12B eine gedehntere Mitte 1204 darstellt. Eine Reihe von Techniken kann eingesetzt werden, um diese Verzerrung zu korrigieren. Die folgenden Absätze beschreiben die Verwendung von Approximationsverfahren und -systemen (z. B. Kameraträgersystemen/Aufnahmegeräten), die Bildinhalte aufgenommen haben, um Projektionen (z. B. sphärische und planare Projektionen) zu analysieren, um Verzerrungen zu korrigieren. 12A -B represent line drawing examples of the distortions that may occur during image capture. In particular, the distortion shown here corresponds to effects that occur when recording stereo panoramas. In general, the distortion may be greater if the scene is taken near a camera that captures the scene. 12A represents a plane in a scene that is two meters by two meters and located one meter from the center of a camera. 12B is the same level as 12A However, the level is in this 25 Centimeters outwards from the camera. Both figures use a recording diameter of 6.5 centimeters. 12A provides a slight stretch near the middle 1202 while 12B a more stretched middle 1204 represents. A number of techniques can be used to correct this distortion. The following paragraphs describe the use of approximation methods and systems (eg, camera carrier systems / recorders) that have captured image content to analyze projections (eg, spherical and planar projections) to correct for bias.
13A–B zeigen Beispiele von Strahlen, die während der Sammlung eines Panoramabildes durch Kameras aufgenommen wurden, die sich auf einer Stufe eines mehrstufigen Kameraträgersystems befinden. 13A zeigt, dass bei einem aufgenommenen Satz von Bildern perspektivische Bilder sowohl für linke als auch für rechte Augen an einer beliebigen Stelle auf einem Aufnahmepfad 1302 erzeugt werden können. Hier werden die Strahlen für das linke Auge durch Strahlen 1304a und die Strahlen für das rechte Auge bei 1306a dargestellt. In einigen Implementierungen kann es sein, dass aufgrund der Kameraeinrichtung, Fehlfunktion oder einfach unzureichender Trägersystemeinrichtung für die Szene die jeweiligen gezeigten Strahlen nicht aufgenommen werden. Daher können einige der Strahlen 1304a und 1306a approximiert (z. B. auf Basis anderer Strahlen interpoliert) werden. Wenn die Szene zum Beispiel unendlich weit weg ist, beinhaltet ein messbares Merkmal der Szene die Strahlenrichtung von einem Ursprung zu einem Ziel. 13A FIGS. 8B-B show examples of rays taken during the collection of a panoramic image by cameras located on a stage of a multi-stage camera support system. 13A shows that in a captured set of images, perspective images for both left and right eyes are anywhere on a recording path 1302 can be generated. Here are the rays for the left eye by rays 1304a and the rays for the right eye 1306a shown. In some implementations, due to the camera setup, malfunction, or simply insufficient carrier system setup for the scene, the respective beams shown may not be captured. Therefore, some of the rays 1304a and 1306a approximated (eg interpolated on the basis of other beams). For example, if the scene is infinitely far away, a measurable feature of the scene includes the beam direction from an origin to a target.
In einigen Implementierungen ist der Strahlursprung ggf. nicht erfassbar. Daher können die Systeme in dieser Offenbarung das linke und/oder rechte Auge approximieren, um einen Ursprungsort für den Strahl zu bestimmen. 13B zeigt approximierte Strahlrichtungen 1306b bis 1306f für das rechte Auge. In diesem Beispiel stammt jeder Strahl von einem anderen Punkt an der Kreisform 1302, statt dass die Strahlen vom selben Punkt stammen. Die Strahlen 1306b bis 1306f sind tangential abgewinkelt zur Aufnahme-Kreisform 1302 dargestellt und sind in bestimmten Bereichen rund um den Umfang der Aufnahme-Kreisform 1302 angeordnet. Außerdem ist die Position der zwei verschiedenen Bildsensoren-Bildsensor 13-1 und Bildsensor 13-2 (die den Kameras zugeordnet oder in ihnen enthalten sind), die einem Kameraträgersystem zugeordnet sind, an der Kameraträgersystem-Kreisform 1303 dargestellt. Wie in 13B dargestellt, ist die Kameraträgersystem-Kreisform 1303 größer als die Aufnahme-Kreisform 1302. In some implementations, the beam origin may not be detectable. Therefore, in this disclosure, the systems may approximate the left and / or right eye to determine a point of origin for the beam. 13B shows approximated beam directions 1306b to 1306f for the right eye. In this example, each ray comes from a different point on the circular shape 1302 instead of the rays coming from the same point. The Rays 1306b to 1306f are tangentially angled to the receiving circular shape 1302 are shown and are in certain areas around the perimeter of the receiving circular shape 1302 arranged. In addition, the position of the two different image sensor image sensor 13-1 and image sensor 13-2 (associated with or included in the cameras) associated with a camera carrier system the camera carrier system circular shape 1303 shown. As in 13B pictured is the camera carrier system circular shape 1303 larger than the pickup circle shape 1302 ,
Eine Anzahl von Strahlen (und die Farbe und Intensität der Bilder, die jedem Strahl zugeordnet sind) kann auf diese Weise mithilfe einer anderen Richtung nach außen von der Kreisform approximiert werden. Auf diese Weise kann eine komplette 360-Grad-Panorama-Ansicht, die viele Bilder beinhaltet, sowohl für die Ansichten des linken als auch des rechten Auges bereitgestellt werden. Diese Technik kann dazu führen, die Verzerrung bei Objekten des mittleren Bereichs zu beheben, es kann jedoch in manchen Fällen immer noch eine Verformung bei der Abbildung von Objekten in der Nähe geben. Zur Einfachheit werden approximierte Strahlrichtungen des linken Auges nicht gezeigt. In dieser exemplarischen Implementierung sind nur einige Strahlen 1306b bis 1306f veranschaulicht. Es können jedoch tausende dieser Strahlen (und Bilder, die diesen Strahlen zugeordnet sind) definiert werden. Demgemäß können viele neue Bilder, die jedem der Strahlen zugeordnet sind, definiert (z. B. interpoliert) werden. A number of rays (and the color and intensity of the images associated with each ray) can thus be approximated from the circular shape by a different outward direction. In this way, a complete 360-degree panoramic view that includes many images can be provided for both the left and right eye views. This technique can help correct distortion in mid-range objects, but in some cases, there may still be deformation in the imaging of nearby objects. For simplicity, approximated beam directions of the left eye are not shown. In this exemplary implementation are only a few rays 1306b to 1306f illustrated. However, thousands of these rays (and images associated with these rays) can be defined. Accordingly, many new images associated with each of the rays may be defined (eg, interpolated).
Wie in 13B wird Strahl 1306b zwischen Bildsensor 13-1 und Bildsensor 13-2, der auf einer Stufe eines mehrstufigen Kameraträgersystems angeordnet sein kann, projiziert. Der Bildsensor 13-1 ist mit dem Bildsensor 13-2 benachbart. Der Strahl kann einem Abstand G1 vom Bildsensor 13-1 (z. B. einer Mitte der Projektion des Bildsensors 13-1) und einem Abstand G2 vom Bildsensor 13-2 (z. B. einer Mitte der Projektion vom Bildsensor 13-2) entsprechen. Die Abstände G1 und G2 können auf der Stelle basieren, an der der Strahl 1306b die Kameraträgersystem-Kreisform 1303 überschneidet. Der Abstand G1 kann sich von Abstand G2 unterscheiden (z. B. größer als, kleiner als Abstand G2 sein). As in 13B will beam 1306b between image sensor 13-1 and image sensor 13-2 projected on a stage of a multi-stage camera support system. The image sensor 13-1 is with the image sensor 13-2 adjacent. The beam may be at a distance G1 from the image sensor 13-1 (eg, a center of the projection of the image sensor 13-1 ) and a distance G2 from the image sensor 13-2 (eg, a center of the projection from the image sensor 13-2 ) correspond. The distances G1 and G2 can be based on the location at which the beam 1306b the camera carrier system circular shape 1303 overlaps. The distance G1 may differ from the distance G2 (eg greater than, less than the distance G2).
Um ein Bild (z. B. ein interpoliertes Bild, ein neues Bild), das Strahl 1306b zugeordnet ist, zu definieren, wird ein erstes Bild (nicht dargestellt), das durch den Bildsensor 13-1 aufgenommen wird, mit einem zweiten Bild (nicht dargestellt), das durch den Bildsensor 13-2 aufgenommen wird, kombiniert (z. B. zusammengesetzt). In einigen Implementierungen können optische Flusstechniken verwendet werden, um das erste Bild und das zweite Bild zu kombinieren. Pixel aus dem ersten Bild, die Pixeln aus dem zweiten Bild entsprechen, können zum Beispiel identifiziert werden. To make a picture (eg an interpolated picture, a new picture), the beam 1306b is assigned to define a first image (not shown) by the image sensor 13-1 is recorded, with a second image (not shown) by the image sensor 13-2 combined (eg composite). In some implementations, optical flow techniques may be used to combine the first image and the second image. For example, pixels from the first image that correspond to pixels from the second image may be identified.
Um ein Bild zu definieren, das zum Beispiel Strahl 1306b zugeordnet ist, werden die entsprechenden Pixel auf Basis der Abstände G1 und G2 verschoben. Es kann davon ausgegangen werden, dass die Auflösung, die Seitenverhältnisse, die Höhe usw. der Bildsensoren 13-1, 13-2 zum Definieren eines Bildes (z. B. eines neuen Bildes) für den Strahl 1306b gleich sind. In einigen Implementierungen können die Auflösung, die Seitenverhältnisse, die Höhe usw. unterschiedlich sein. In diesen Implementierungen müsste die Interpolation jedoch geändert werden, um diese Unterschiede zu berücksichtigen. To define an image, for example, beam 1306b is assigned, the corresponding pixels are shifted based on the distances G1 and G2. It can be assumed that the resolution, aspect ratios, height, etc. of the image sensors 13-1 . 13-2 for defining an image (eg, a new image) for the ray 1306b are the same. In some implementations, the resolution, aspect ratios, height, etc. may be different. However, in these implementations, the interpolation would have to be changed to accommodate these differences.
Als ein spezifisches Beispiel kann ein erstes Pixel, das einem Objekt im ersten Bild zugeordnet ist, als einem zweiten Pixel entsprechend identifiziert werden, das dem Objekt im zweiten Bild zugeordnet ist. Da das erste Bild aus der Perspektive des Bildsensors 13-1 (der sich an einer ersten Stelle rund um die Kameraträgersystem-Kreisform 1303 befindet) aufgenommen wird und das zweite Bild aus der Perspektive des Bildsensors 13-2 (der sich an einer zweiten Stelle rund um die Kameraträgersystem-Kreisform 1303 befindet) aufgenommen wird, wird das Objekt in eine Position (z. B. X-Y-Koordinatenposition) innerhalb des ersten Bildes im Vergleich zu einer Position (X-Y-Koordinatenposition) im zweiten Bild verschoben. Ähnlich wird das erste Pixel, das dem Objekt zugeordnet ist, in eine Position (z. B. X-Y-Koordinatenposition) in Bezug auf das zweite Pixel, das dem Objekt zugeordnet ist, verschoben. Um ein neues Bild zu produzieren, das Strahl 1306b zugeordnet ist, kann ein neues Pixel, das dem ersten Pixel und dem zweiten Pixel (und dem Objekt) entspricht, auf Basis eines Verhältnisses der Abstände G1 und G2 definiert werden. Speziell kann das neue Pixel an einer Stelle definiert werden, deren Position vom ersten Pixel auf Basis des Abstands G1 (und um einen Faktor auf Basis des Abstands zwischen der Position des ersten Pixels und der Position des zweiten Pixels skaliert) und vom zweiten Pixel auf Basis des Abstands G2 (und um einen Faktor auf Basis des Abstands zwischen der Position des ersten Pixels und der Position des zweiten Pixels skaliert) verschoben ist. As a specific example, a first pixel associated with an object in the first image may be identified as corresponding to a second pixel associated with the object in the second image. Because the first picture from the perspective of the image sensor 13-1 (located at a first point around the camera carrier system circular shape 1303 is located) and the second image from the perspective of the image sensor 13-2 (located at a second point around the camera carrier system circular shape 1303 is located), the object is moved to a position (eg XY coordinate position) within the first image as compared to a position (XY coordinate position) in the second image. Similarly, the first pixel associated with the object is moved to a position (eg, XY coordinate position) with respect to the second pixel associated with the object. To produce a new image, the beam 1306b is assigned, a new pixel corresponding to the first pixel and the second pixel (and the object) may be defined based on a ratio of the distances G1 and G2. Specifically, the new pixel may be defined at a location whose position is scaled from the first pixel based on the distance G1 (and scaled by a factor based on the distance between the position of the first pixel and the position of the second pixel) and the second pixel based of the distance G2 (and scaled by a factor based on the distance between the position of the first pixel and the position of the second pixel).
Gemäß der zuvor beschriebenen Implementierung kann eine Parallaxe für das neue Bild beschrieben werden, das Strahl 1306b zugeordnet ist, die mit dem ersten Bild und dem zweiten Bild konsistent ist. Speziell können Objekte, die relativ nah zum Kameraträgersystem angeordnet sind, in einem größeren Umfang verschoben werden, als Objekte, die vom Kameraträgersystem relativ weit weg angeordnet sind. Diese Parallaxe, die zwischen dem Verschieben der Pixel (vom ersten Pixel zum zweiten Pixel zum Beispiel) beibehalten werden kann, kann auf den Abständen G1 und G2 des Strahls 1306b basieren. According to the implementation described above, a parallax for the new image, the beam 1306b associated with the first image and the second image. Specifically, objects that are relatively close to the camera support system can be moved to a greater extent than objects that are relatively far away from the camera support system. This parallax, which can be maintained between the shifting of the pixels (from the first pixel to the second pixel, for example), may be at the distances G1 and G2 of the beam 1306b based.
Dieser Prozess kann für sämtliche Strahlen (z. B. Strahlen 1306b bis 1306f) rund um die Aufnahme-Kreisform 1302 wiederholt werden. Neue Bilder, die jedem der Strahlen rund um die Aufnahme-Kreisform 1302 zugeordnet sind, können auf Basis eines Abstands zwischen jedem der Strahlen und den Bildsensoren (z. B. benachbarten Bildsensoren, Bildsensoren 13-1, 13-2) rund um die Kameraträgersystem-Kreisform 1303 definiert werden. This process can be applied to all beams (eg beams 1306b to 1306f ) around the recording circular shape 1302 be repeated. New images representing each of the rays surrounding the recording circular shape 1302 may be assigned based on a distance between each of the beams and the image sensors (eg, adjacent image sensors, image sensors 13-1 . 13-2 ) around the camera carrier system circular shape 1303 To be defined.
Wie in 13B dargestellt, ist ein Durchmesser der Kameraträgersystem-Kreisform 1303 größer als ein Durchmesser der Aufnahme-Kreisform 1302. In einigen Implementierungen kann der Durchmesser der Kameraträgersystem-Kreisform 1303 zwischen dem 1,5- und 8-fachen größer sein als der Durchmesser der Aufnahme-Kreisform 1302. Als ein spezifisches Beispiel kann der Durchmesser der Aufnahme-Kreisform 6 Zentimeter betragen, während der Durchmesser der Kameraträgersystem-Kreisform 1303 (z. B. Kameramontagering 412, der in 4A dargestellt ist) 30 Zentimeter betragen kann. As in 13B is a diameter of the camera support system circular shape 1303 larger than a diameter of the receiving circular shape 1302 , In some implementations, the diameter of the camera carrier system circular shape may be 1303 between 1.5 and 8 times larger than the diameter of the receiving circular shape 1302 , As a specific example, the diameter of the receiving circular shape 6 Centimeters while the diameter of the camera carrier system circular shape 1303 (eg camera mounting ring 412 who in 4A is shown) can be 30 centimeters.
14A–B veranschaulichen, wie in 13A–B beschrieben, die Verwendung der Approximierung planarer perspektivischer Projektion. 14A stellt eine Panoramaszene mit verzerrten Linien vor einer Approximierung der planaren perspektivischen Strahlen und Projektion dar. Wie dargestellt, werden eine Vorhangstange 1402a, ein Fensterrahmen 1404a und eine Tür 1406a als Objekte mit gekrümmten Merkmalen gezeigt, obgleich es sich in Wirklichkeit jedoch um Objekte mit geraden Merkmalen handelt. Objekte mit geraden Merkmalen beinhalten Objekte, die keine gekrümmten Flächen aufweisen (wie z. B. eine flache Karteikarte, ein quadratischer Kasten, ein rechteckiger Fensterrahmen usw.). In diesem Beispiel sind die Objekte 1402a, 1404a und 1406a gekrümmt dargestellt, da sie im Bild verzerrt wurden. 14B stellt ein korrigiertes Bild dar, in dem die planare perspektivische Projektion mit einem horizontalen 90-Grad-Sichtfeld approximiert wurde. Hier sind die Vorhangstange 1402a, der Fensterrahmen 1404a und die Tür 1406a als korrigierte, gerade Objekte 1402a, 1404b bzw. 1404c dargestellt. 14A -B illustrate how in 13A -B, using the approximation of planar perspective projection. 14A presents a panoramic scene with distorted lines before approximating the planar perspective rays and projection. As illustrated, a curtain rod becomes 1402a , a window frame 1404a and a door 1406a as objects with curved features, although in reality they are objects with even features. Even feature objects include objects that do not have curved surfaces (such as a flat index card, a square box, a rectangular window frame, etc.). In this example, the objects are 1402a . 1404a and 1406a curved as they were distorted in the picture. 14B represents a corrected image in which the planar perspective projection was approximated with a horizontal 90 degree field of view. Here are the curtain rod 1402a , the window frame 1404a and the door 1406a as corrected, straight objects 1402a . 1404b respectively. 1404c shown.
15A–C veranschaulichen Beispiele approximierter planarer perspektivischer Projektion, die auf Ebenen eines Bildes angewandt wurde. 15A zeigt eine planare perspektivische Projektion eines Panoramas mithilfe von Techniken, die in dieser Offenbarung beschrieben sind. Die gezeigte Draufsicht 1500 kann zum Beispiel eine Überlagerung der Ebene im Bild in 14B darstellen. Insbesondere stellt 15A eine korrigierte 14A dar, bei der die gebogenen Linien in gerade Linien projiziert werden. Hier wird die Ebene 1500 des Panoramas in einem Abstand von einem Meter (mit einem horizontalen 90-Grad-Sichtfeld) dargestellt. Die Linien 1502, 1504, 1506 und 1508 sind gerade, während dieselben Mittellinien zuvor (entsprechend 14A) gebogen und verzerrt waren. 15A -C illustrate examples of approximated planar perspective projection applied to planes of an image. 15A shows a planar perspective projection of a panorama using techniques described in this disclosure. The top view shown 1500 For example, you can overlay the layer in the image in 14B represent. In particular, presents 15A a corrected one 14A in which the curved lines are projected into straight lines. Here is the level 1500 of the panorama at a distance of one meter (with a horizontal 90 degree field of view). The lines 1502 . 1504 . 1506 and 1508 are straight, while the same centerlines before (corresponding to 14A ) were bent and distorted.
Andere Verzerrungen können auf Basis des ausgewählten Projektionsschemas auftreten. 15B und 15C stellen zum Beispiel Ebenen (1510 und 1520) dar, die mithilfe einer planaren perspektivischen Projektion von einem Panorama mithilfe von Techniken in dieser Offenbarung erzeugt werden. Das Panorama wurde mit einem Abstand von 25 Zentimetern (horizontales 90-Grad-Sichtfeld) aufgenommen. 15B zeigt die Aufnahme für das linke Auge 1510, während 15C die Aufnahme für das rechte Auge 1520 zeigt. Hier werden die Unterseiten der Ebenen (1512, 1522) nicht auf eine gerade Linie projiziert, zudem wird eine vertikale Parallaxe eingeführt. Diese bestimmte Verformung kann auftreten, wenn planare perspektivische Projektion verwendet wird. Other distortions may occur based on the selected projection scheme. 15B and 15C put for example levels ( 1510 and 1520 ) generated by a planar perspective projection of a panorama using techniques in this disclosure. The panorama was taken at a distance of 25 centimeters (horizontal 90 degree field of view). 15B shows the shot for the left eye 1510 , while 15C the recording for the right eye 1520 shows. Here are the subpages of the layers ( 1512 . 1522 ) is not projected on a straight line, in addition a vertical parallax is introduced. This particular deformation can occur when planar perspective projection is used.
16A–B veranschaulichen Beispiele der Einführung einer vertikalen Parallaxe. 16A zeigt eine gerade Linie 1602a, die gemäß typischen Omnistereo-Panoramatechniken aufgenommen wird. Im gezeigten Beispiel stammt jeder Strahl 1604a–1618a von einem anderen Punkt auf der Kreisform 1622. 16A -B illustrate examples of the introduction of vertical parallax. 16A shows a straight line 1602a , which is recorded according to typical Omni-stereo panoramas. In the example shown, each ray comes from 1604a - 1618a from another point on the circular shape 1622 ,
16B zeigt, gesehen mithilfe einer perspektivischen Approximationstechnik, dieselbe gerade Linie. Wie dargestellt, wird die gerade Linie 1602a verformt als Linie 1602b dargestellt. Strahlen 1604b–1618b stammen von einem einzelnen Punkt auf der Kreisform 1622. Die Verformung kann den Effekt haben, die linke Hälfte der Linie 1602b in Richtung Betrachter zu bringen und die rechte Hälfte der Linie vom Betrachter weg zu schieben. Für das linke Auge kann das Gegenteil erfolgen, d. h. die linke Hälfte der Linie erscheint weiter weg, während die rechte Hälfte der Linie näher erscheint. Die verformte Linie ist zwischen zwei Asymptoten gekrümmt, die durch einen Abstand gleich dem Durchmesser 1624 des Panoramas getrennt sind, das die Kreisform 1622 wiedergibt. Da die Verformung als die gleiche Größe wie der Panorama-Aufnahmeradius aufweisend dargestellt ist, kann es sein, dass sie nur bei Objekten in der Nähe bemerkbar ist. Diese Form der Verformung kann zu vertikaler Parallaxe für einen Benutzer führen, der ein Bild betrachtet, was Schwierigkeiten beim Verschmelzen verursachen kann, wenn Zusammensetzungsvorgänge bei den verzerrten Bildern durchgeführt werden. 16B shows, using a perspective approximation technique, the same straight line. As shown, the straight line 1602a deformed as a line 1602b shown. radiate 1604b - 1618b come from a single point on the circular shape 1622 , The deformation can have the effect of the left half of the line 1602b towards the viewer and push the right half of the line away from the viewer. The opposite can be done for the left eye, ie the left half of the line appears farther away, while the right half of the line appears closer. The deformed line is curved between two asymptotes, separated by a distance equal to the diameter 1624 of the panorama are separated, that the circular form 1622 reproduces. Since the deformation is shown as having the same size as the panoramic shooting radius, it may be noticeable only in nearby objects. This form of deformation can lead to vertical parallax for a user looking at an image, which can cause difficulties in merging when performing compositing operations on the distorted images.
17A–B zeigen exemplarische Punkte eines Koordinatensystems, das zum Veranschaulichen von Punkten in einem 3D-Panorama verwendet werden kann. 17A–B zeigen einen Punkt (0, Y, Z)(0, Y, Z) 1702, der durch die in dieser Offenbarung beschriebenen Panoramatechniken abgebildet wird. Die Projektion des Punkts in die linken und rechten Panoramen kann, wie unten in Gleichungen (1) und (2) dargestellt, durch (–θ, ϕ)(–θ, ϕ) bzw. (θ, ϕ)(θ, ϕ), dargestellt werden, wobei: und wobei rr 1704 der Radius der Panorama-Aufnahme ist. 17A Figure 3B shows exemplary points of a coordinate system that can be used to illustrate points in a 3D panorama. 17A -B show a point (0, Y, Z) (0, Y, Z) 1702 imaged by the panoramic techniques described in this disclosure. The projection of the point into the left and right panoramas may be represented by (-θ, φ) (-θ, φ) and (θ, φ) (θ, φ), respectively, as shown in equations (1) and (2) below. , in which: and where rr 1704 the radius of the panorama shot is.
17A zeigt eine Ansicht von oben nach unten der Panorama-Abbildung des Punkts (0, Y, Z)(0, Y, Z) 1702. 17B zeigt eine Seitenansicht der Panorama-Abbildung des Punkts (0, Y, Z)(0, Y, Z) 1702. Der dargestellte Punkt wird auf (–θ, ϕ)(–θ, ϕ) im linken Panorama projiziert und auf (θ, ϕ)(θ, ϕ) im rechten Panorama projiziert. Diese bestimmten Ansichten entsprechen der ursprünglichen Aufnahme und wurden in keine andere Ebene projiziert. 17A shows a top-down view of the panoramic image of the point (0, Y, Z) (0, Y, Z) 1702 , 17B shows a side view of the panoramic image of the point (0, Y, Z) (0, Y, Z) 1702 , The point shown is projected onto (-θ, φ) (-θ, φ) in the left panorama and projected onto (θ, φ) (θ, φ) in the right panorama. These particular views are the same as the original shot and have not been projected to any other level.
18 stellt eine projizierte Ansicht des Punkts dar, der in 17A–17B gezeigt wird. Hier ist der perspektivische Standpunkt 1702, wie in 18 durch 1802 dargestellt, so ausgerichtet, dass er mit einer Drehung des Winkels [α] um die Y-Achse horizontal blickt. Da die perspektivische Projektion nur die Strahlrichtung berücksichtigt, ist es möglich, die Strahlen, die der Punkt 1702 unterwegs projiziert, durch Umwandeln der Strahlen, die den Punkt 1702 in der Panoramaprojektion 1802 sehen, in einen Bezugsrahmen einer perspektivischen Kamera zu finden. Punkt 1702 wird zum Beispiel entlang der folgenden Strahlen projiziert, die in Tabelle 1 unten dargestellt sind: Tabelle 1 18 represents a projected view of the point in 17A - 17B will be shown. Here is the perspective 1702 , as in 18 by 1802 shown aligned so that it looks horizontally with a rotation of the angle [α] about the Y-axis. Since the perspective projection only takes into account the beam direction, it is possible to see the rays that make up the point 1702 projected on the way, by transforming the rays that reach the point 1702 in the panoramic projection 1802 see to find in a frame of reference of a perspective camera. Point 1702 is projected along the following rays, for example, which are shown in Table 1 below: Table 1
Durch eine perspektivische Division kann die Punktprojektion bestimmt werden, wie durch die Gleichungen in Tabelle 2 nachfolgend dargestellt: Tabelle 2 A perspective division can be used to determine the point projection, as shown by the equations in Table 2 below: Table 2
Es ist zu sehen, dass, wenn θ = π / 2 (entsprechend dem ursprünglichen 3D-Punkt 1702, der unendlich weit weg ist), der Punkt 1702 in beiden perspektivischen Bildern im Allgemeinen auf dieselbe Y-Koordinate projiziert wird und es keine vertikale Parallaxe gibt. Wenn jedoch θ weiter weg von θ = π / 2 ist (wenn der Punkt sich näher zur Kamera bewegt), unterscheiden sich die projizierten Y-Koordinaten für die linken und rechten Augen (außer für den Fall, in dem α = 0, was der perspektivischen Ansicht entspricht, die in Richtung Punkt 1702 zeigt). It can be seen that, though θ = π / 2 (corresponding to the original 3D point 1702 that is infinitely far away), the point 1702 in both perspective images is generally projected onto the same Y-coordinate and there is no vertical parallax. However, if θ is further away from θ = π / 2 is (as the point moves closer to the camera), the projected Y coordinates for the left and right eyes (except for the case where α = 0, which corresponds to the perspective view, are different toward point 1702 shows).
In einigen Implementierungen können Verzerrungen durch Aufnehmen von Bildern und Szenen auf eine bestimmte Weise vermieden werden. Das Aufnehmen von Szenen innerhalb eines Nahfelds zur Kamera (d. h. weniger als ein Meter entfernt) kann zum Beispiel dazu führen, dass Verzerrungselemente erscheinen. Daher ist das Aufnehmen von Szenen oder Bildern ab einem Meter Entfernung eine Möglichkeit, Verzerrungen zu minimieren. In some implementations, distortions can be avoided by taking pictures and scenes in a certain way. For example, taking scenes within a near field to the camera (ie, less than one meter away) may cause distortion to appear. Therefore, capturing scenes or images from a meter away is a way to minimize distortion.
In einigen Implementierungen kann Verzerrung mithilfe von Tiefeninformationen korrigiert werden. Bei genauen Tiefeninformationen für eine Szene kann es zum Beispiel möglich sein, die Verzerrung zu korrigieren. Das heißt, da die Verzerrung von der aktuellen Blickrichtung abhängen kann, ist es ggf. nicht möglich, eine einzelne Verzerrung auf Panoramabilder vor der Wiedergabe anzuwenden. Stattdessen können Tiefeninformationen zusammen mit den Panoramen weitergegeben und zum Zeitpunkt der Wiedergabe verwendet werden. In some implementations, distortion can be corrected using depth information. For example, with accurate depth information for a scene, it may be possible to correct the distortion. That is, since the distortion may depend on the current viewing direction, it may not be possible to apply a single distortion to panoramic images before playback. Instead, depth information can be passed along with the panoramas and used at the time of playback.
19 veranschaulicht Strahlen, die in einem omnidirektionalen Stereobild mithilfe der in dieser Offenbarung beschriebenen Panoramabildgebungstechniken aufgenommen werden. In diesem Beispiel entsprechen Strahlen 1902, 1904, 1906, die im Uhrzeigersinn rund um Kreisform 1900 zeigen, Strahlen für das linke Auge. Ähnlich entsprechen Strahlen 1908, 1910, 1912, die entgegen dem Uhrzeigersinn rund um Kreisform 1900 zeigen, Strahlen für das rechte Auge. Jeder Strahl entgegen dem Uhrzeigersinn kann einen entsprechenden Strahl im Uhrzeigersinn an der gegenüberliegenden Seite der Kreisform haben, der in dieselbe Richtung blickt. Dies kann einen linken/rechten Betrachtungsstrahl für jede der Richtungen der Strahlen bereitstellen, der in einem einzelnen Bild dargestellt ist. 19 illustrates rays captured in an omnidirectional stereo image using the panoramic imaging techniques described in this disclosure. In this example, rays correspond 1902 . 1904 . 1906 that rotate clockwise around circular 1900 show rays for the left eye. Similarly, rays correspond 1908 . 1910 . 1912 that rotate counterclockwise around circular 1900 show, rays for the right eye. Each counter-clockwise beam may have a corresponding clockwise beam on the opposite side of the circular shape looking in the same direction. This can provide a left / right viewing beam for each of the directions of the beams represented in a single image.
Das Aufnehmen eines Satzes von Strahlen für die Panoramen kann, wie in dieser Offenbarung beschrieben, das Bewegen einer Kamera (nicht dargestellt) rund um die Kreisform 1900 beinhalten, wobei die Kamera tangential zur Kreisform 1900 ausgerichtet wird (z. B. Zeigen des Kameraobjektivs, das nach außen weist, auf die Szene und tangential zur Kreisform 1900). Für das linke Auge kann die Kamera nach rechts ausgerichtet werden (z. B. Strahl 1904 wird rechts von der Mittellinie 1914a aufgenommen). Ähnlich kann für das rechte Auge die Kamera nach links ausgerichtet werden (z. B. Strahl 1910 wird links von der Mittellinie 1914a aufgenommen). Ähnliche linke und rechte Bereiche können mithilfe der Mittellinie 1914b für Kameras auf der anderen Seite der Kreisform 1900 und unter der Mittellinie 1914b definiert werden. Das Produzieren omnidirektionaler Stereobilder funktioniert für die echte Kameraaufnahme oder für vorher wiedergegebene Computergrafik(CG)-Inhalte. Ansichtsinterpolation kann sowohl mit aufgenommenen Kamerainhalten als auch wiedergegebenen CG-Inhalten verwendet werden, um zum Beispiel das Aufnehmen der Punkte zwischen den echten Kameras auf der Kreisform 1900 zu simulieren. Recording a set of rays for the panoramas may, as described in this disclosure, move a camera (not shown) around the circular shape 1900 include, with the camera tangent to the circular shape 1900 (For example, pointing the camera lens facing outwards onto the scene and tangent to the circle 1900 ). For the left eye, the camera can be oriented to the right (eg beam 1904 becomes right of the centerline 1914a was added). Similarly, for the right eye, the camera may be directed to the left (eg, beam 1910 becomes left of the centerline 1914a was added). Similar left and right areas can be centered using the centerline 1914B for cameras on the other side of the circular shape 1900 and below the midline 1914B To be defined. Producing omnidirectional stereo images works for real camera recording or previously rendered computer graphics (CG) content. View interpolation can be used with both captured camera content and rendered CG content, for example, to capture the points between the real cameras on the circular shape 1900 to simulate.
Das Zusammensetzen eines Satzes von Kameras kann die Verwendung einer sphärischen/äquirektangulären Projektion für das Speichern des Panoramabildes beinhalten. Im Allgemeinen sind bei diesem Verfahren zwei Bilder, eines für jedes Auge, vorhanden. Jedes Pixel im äquirektangulären Bild entspricht einer Richtung auf der Kugel. Die X-Koordinate kann zum Beispiel einem Längsgrad und die Y-Koordinate kann einem Breitengrad entsprechen. Für ein mono-omnidirektionales Bild können die Ursprünge der Betrachtungsstrahlen für die Pixel derselbe Punkt sein. Für das Stereobild kann jedoch jeder Betrachtungsstrahl auch von einem anderen Punkt auf der Kreisform 1900 stammen. Das Panoramabild kann dann aus den aufgenommenen Bildern zusammengesetzt werden, indem jedes Pixel im aufgenommen Bild erfasst wird, ein idealer Betrachtungsstrahl aus einem Projektionsmodell erzeugt wird und die Pixel aus den aufgenommenen oder interpolierten Bildern abgetastet werden, deren Betrachtungsstrahlen am genausten dem idealen Strahl entsprechen. Als Nächstes können die Strahlenwerte miteinander gemischt werden, um einen Panoramapixelwert zu erzeugen. The assembly of a set of cameras may involve the use of a spherical / angular angular projection to store the panoramic image. Generally, two images, one for each eye, are present in this process. Each pixel in the angular image corresponds to a direction on the sphere. For example, the X coordinate may be a longitudinal degree and the Y coordinate may be a latitude. For a mono-omnidirectional image, the origins of the viewing rays for the pixels may be the same point. However, for the stereo image, each viewing beam may also be from another point on the circular shape 1900 come. The panoramic image may then be composed of the captured images by capturing each pixel in the captured image, generating an ideal viewing beam from a projection model, and scanning the pixels from the captured or interpolated images whose viewing rays most closely match the ideal ray. Next, the ray values may be mixed together to produce a panoramic pixel value.
In einigen Implementierungen kann eine auf dem optischen Fluss basierende Ansichtsinterpolation verwendet werden, um mindestens ein Bild pro Grad auf der Kreisform 1900 zu produzieren. In einigen Implementierungen können komplette Spalten des Panoramabilds gleichzeitig gefüllt werden, da bestimmt werden kann, dass, wenn ein Pixel in der Spalte aus einem bestimmten Bild abgetastet wird, die Pixel in dieser Spalte aus demselben Bild abgetastet werden. In some implementations, optical flow-based view interpolation may be used to form at least one image per degree on the circular shape 1900 to produce. In some implementations, complete columns of the panoramic image may be filled simultaneously since it may be determined that when a pixel in the column is scanned from a particular image, the pixels in that column are scanned from the same image.
Das bei Aufnahme- und Wiedergabeaspekten dieser Offenbarung verwendete Panoramaformat kann sicherstellen, dass die Bildkoordinaten eines Objekts, das von den linken und rechten Augen gesehen wird, sich nur durch eine horizontale Verschiebung unterscheiden. Diese horizontale Verschiebung wird Parallaxe genannt. Dies betrifft äquirektanguläre Projektion, zudem können in dieser Projektion Objekte ziemlich verzerrt erscheinen. The panoramic format used in the recording and reproducing aspects of this disclosure can ensure that the image coordinates of an object seen from the left and right eyes differ only by a horizontal displacement. This horizontal shift is called parallax. This applies to the eightectangular projection, and in this projection objects may appear rather distorted.
Die Größenordnung dieser Verzerrung kann von einem Abstand der Kamera und einer Blickrichtung abhängen. Die Verzerrung kann Linienbiegungsverzerrung, unterschiedliche Verzerrung im linken und rechten Auge beinhalten, zudem kann in einigen Implementierungen die Parallaxe nicht mehr horizontal erscheinen. Im Allgemeinen können 1 bis 2 Grad (auf einer sphärischen Bildebene) vertikale Parallaxe durch menschliche Benutzer ohne Weiteres toleriert werden. Außerdem können die Verzerrungen für Objekte in der peripheren Augenlinie ignoriert werden. Dies korreliert bis etwa 30 Grad von einer zentralen Blickrichtung entfernt. Auf Basis dieser Erkenntnisse können Grenzen konstruiert werden, die Zonen in der Nähe der Kamera definieren, die Objekte nicht durchdringen sollten, um unangenehme Verzerrungen zu vermeiden. The magnitude of this distortion may depend on a distance of the camera and a viewing direction. The distortion may include line bending distortion, differential distortion in the left and right eyes, and in some implementations the parallax may no longer appear horizontal. In general, 1 to 2 degrees (on a spherical image plane) vertical parallax can readily be tolerated by human users. In addition, the distortions for objects in the peripheral eye line can be ignored. This correlates to about 30 degrees from a central line of sight. Based on these insights, boundaries can be constructed that define zones near the camera that objects should not penetrate to avoid uncomfortable distortions.
20 zeigt eine Grafik 2000, die eine maximale vertikale Parallaxe veranschaulicht, die durch Punkte im 3D-Raum verursacht wird. Insbesondere zeigt die Grafik 2000 die maximale vertikale Parallaxe in Grad, die durch Punkte im 3D-Raum verursacht wird, vorausgesetzt, diese werden mit 30 Grad von der Mitte eines Bildes projiziert. Die Grafik 2000 stellt eine vertikale Position von einer Kameramitte (in Metern) gegenüber einer horizontalen Position von der Kamera (in Metern) grafisch dar. In dieser befindet sich die Kamera am Ursprung [0, 0]. Wenn sich die Grafik weiter weg vom Ursprung bewegt, wird der Schweregrad der Verzerrung geringer. Von etwa null bis eins 2002 und von null zu minus eins 2004 (vertikal) auf der Grafik ist die Verzerrung zum Beispiel am schlimmsten. Dies entspricht Bildern direkt über und unter der Kamera (am Ursprung platziert). Wenn sich die Szene nach außen bewegt, wird die Verzerrung verringert, darüber hinaus ist zu dem Zeitpunkt, zu dem die Kamera die Szene an den Punkten 2006 und 2008 abbildet, nur ein halber Grad vertikaler Parallaxe anzutreffen. 20 shows a graphic 2000 which illustrates a maximum vertical parallax caused by points in 3D space. In particular, the graph shows 2000 the maximum vertical parallax in degrees caused by points in 3D space, assuming they are projected at 30 degrees from the center of an image. The graphic 2000 Plots a vertical position from a camera center (in meters) versus a horizontal position from the camera (in meters). In it, the camera is at the origin [0, 0]. As the graphic moves further away from the origin, the severity of the distortion decreases. From about zero to one 2002 and from zero to minus one 2004 For example, distortion (vertical) on the graph is the worst. This corresponds to images directly above and below the camera (placed at the origin). If the scene moves outward, the distortion is reduced, moreover, at the time the camera is at the scene at the points 2006 and 2008 depicts only half a degree of vertical parallax.
Wenn die Verzerrung in der Peripherie über 30 Grad hinaus ignoriert werden kann, können alle Pixel, deren Blickrichtung innerhalb von 30 Grad der Pole ist, entfernt werden. Wenn der periphere Schwellenwert 15 Grad sein darf, können 15 Grad der Pixel entfernt werden. Die entfernten Pixel können zum Beispiel auf einen Farbblock (z. B. schwarz, weiß, magenta usw.) oder ein statisches Bild (z. B. ein Logo, eine bekannte Grenze, eine texturierte Schicht usw.) eingestellt und die neue Darstellung der entfernten Pixel in das Panorama an der Stelle der entfernten Pixel eingefügt werden kann. In einigen Implementierungen können die entfernten Pixel verschwommen sein und die verschwommene Darstellung der entfernten Pixel kann in das Panorama an der Stelle der entfernten Pixel eingefügt werden. If the distortion in the periphery can be ignored beyond 30 degrees, all pixels whose viewing direction is within 30 degrees of the poles can be removed. If the peripheral threshold is allowed to be 15 degrees, 15 degrees of the pixels can be removed. For example, the removed pixels may be set to a color block (eg, black, white, magenta, etc.) or a static image (eg, a logo, a known border, a textured layer, etc.) and the new representation of the remote pixels can be inserted into the panorama at the location of the removed pixels. In some implementations, the removed pixels may be blurry and the blurred representation of the removed pixels may be inserted into the panorama at the location of the removed pixels.
21 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses 2100 zum Erstellen eines Stereo-Panoramabildes abbildet. Wie in 21 bei Block 2102 dargestellt, kann ein System 100 einen Satz von Bildern auf Basis aufgenommener Bilder definieren. Die Bilder können vorverarbeitete Bilder, nachbearbeitete Bilder, virtuelle Inhalte, Videos, Bildeinzelbilder, Teile von Einzelbildern, Pixel usw. beinhalten. 21 FIG. 12 is a flowchart illustrating one embodiment of a process. FIG 2100 to create a stereo panorama image. As in 21 at block 2102 can represent a system 100 define a set of images based on captured images. The images may include preprocessed images, post-processed images, virtual contents, videos, image frames, portions of frames, pixels, and so forth.
Auf die definierten Bilder kann durch einen Benutzer, der auf Inhalte (z. B. VR-Inhalte) zugreift, zum Beispiel durch Verwendung eines am Kopf befestigten Anzeigegeräts (HMD) zugegriffen werden. Das System 100 kann bestimmte Aktionen bestimmen, die durch den Benutzer durchgeführt werden. Irgendwann kann das System 100 zum Beispiel, wie bei Block 2104, eine Blickrichtung empfangen, die einem Benutzer des VR-HMD zugeordnet ist. Ähnlich kann das System, wenn der Benutzer seine Blickrichtung ändert, wie bei Block 2106, eine Angabe einer Änderung einer Blickrichtung des Benutzers empfangen. The defined images may be accessed by a user accessing content (eg, VR content) using, for example, a head-mounted display device (HMD). The system 100 can determine certain actions that are performed by the user. At some point, the system can 100 for example, as in Block 2104 , receive a line of sight associated with a user of the VR-HMD. Likewise, if the user changes his line of vision, the system can do as in block 2106 receive an indication of a change in a user's line of sight.
In Reaktion auf das Empfangen der Angabe einer solchen Änderung der Blickrichtung kann das System 100 eine Neuprojektion eines Teils des Satzes von Bildern konfigurieren, die bei Block 2108 dargestellt ist. Die Neuprojektion kann zumindest teilweise auf der geänderten Blickrichtung und einem Sichtfeld basieren, das den aufgenommenen Bildern zugeordnet ist. Das Sichtfeld kann 1 bis 180 Grad betragen und kleine Teile von Bildern einer Szene bis zu vollständigen Panoramabildern der Szene berücksichtigen. Die konfigurierte Neuprojektion kann verwendet werden, um einen Teil des Satzes von Bildern aus einer sphärischen perspektivischen Projektion in eine planare Projektion umzuwandeln. In einigen Implementierungen kann die Neuprojektion ein Neucasten eines Teils der Betrachtungsstrahlen, die dem Satz von Bildern zugeordnet sind, aus einer Vielzahl von Standpunkten, die rund um einen gekrümmten Pfad angeordnet sind, von einer sphärischen perspektivischen Projektion zu einer planaren perspektivischen Projektion beinhalten. In response to receiving the indication of such a change in the line of sight, the system may 100 configure a new projection of a portion of the set of images that block 2108 is shown. The new projection may be based, at least in part, on the changed viewing direction and a field of view associated with the captured images. The field of view can be from 1 to 180 degrees, taking into account small parts of images of a scene up to complete panoramic images of the scene. The configured new projection can be used to convert part of the set of images from a spherical perspective projection to a planar projection. In some implementations, the re-projection may include relatching a portion of the viewing rays associated with the set of images from a plurality of locations disposed about a curved path, from a spherical perspective projection to a planar perspective projection.
Die Neuprojektion kann jeden oder alle Schritte beinhalten, um einen Teil einer Fläche einer sphärischen Szene auf einer planaren Szene abzubilden. Die Schritte können das Retuschieren verzerrter Szeneninhalte, das Mischen (z. B. Zusammensetzen) von Szeneninhalten an oder in der Nähe von Nahtstellen, Farbtonzuordnung und/oder Skalierung beinhalten. The re-projection may include any or all steps to map a portion of an area of a spherical scene on a planar scene. The steps may include retouching distorted scene content, mixing (e.g., compositing) scene content at or near seams, hue mapping, and / or scaling.
Nach Abschluss der Neuprojektion kann das System 100, wie bei Block 2110 dargestellt, eine aktualisierte Ansicht auf Basis der Neuprojektion wiedergeben. Die aktualisierte Ansicht kann so konfiguriert werden, dass sie Verzerrungen korrigiert und einem Benutzer Stereo-Parallaxe bereitstellt. Bei Block 2112 kann das System 100 die aktualisierte Ansicht, einschließlich einer Stereo-Panoramaszene bereitstellen, die der geänderten Blickrichtung entspricht. Das System 100 kann zum Beispiel die aktualisierte Ansicht bereitstellen, um Verzerrungen in der ursprünglichen Ansicht (vor der Neuprojektion) zu korrigieren, und einen Stereo-Parallaxe-Effekt in einer Anzeige eines am Kopf befestigten VR-Anzeigegeräts bereitstellen. After completing the new projection, the system can 100 , as with block 2110 shown, play an updated view based on the new projection. The updated view can be configured to that corrects distortions and provides stereo parallax to a user. At block 2112 can the system 100 provide the updated view, including a stereo panorama scene that matches the changed view. The system 100 For example, it may provide the updated view to correct distortions in the original view (prior to the new projection) and provide a stereo parallax effect in a display of a head-mounted VR display device.
22 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses 2200 zum Aufnehmen eines Omnistereo-Panoramabilds mithilfe eines mehrstufigen Kameraträgersystems abbildet. Bei Block 2202 kann das System 100 einen Satz von Bildern für eine erste Stufe des Multi-Kameraträgersystems auf Basis aufgenommener Videostreams definieren, die von mindestens einem Satz benachbarter Kameras in der ersten Stufe gesammelt wurden. Die erste Stufe kann in einigen Ausführungsformen eine untere Stufe des mehrstufigen Kameraträgersystems sein, während die Kameras in der ersten Stufe in einer Kreisform angeordnet sein können, sodass jede der ersten Vielzahl von Kameras eine Projektionsnormale nach außen zur Kreisform aufweist. Das System 100 kann zum Beispiel benachbarte Kameras (wie zum Beispiel in 2 dargestellt) oder mehrere Sätze von benachbarten Kameras (wie zum Beispiel in 3 und 5 dargestellt) verwenden. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe aufgenommener Videostreams definieren, die von etwa 12 bis etwa 16 Kameras aufgenommen wurden, die in einer Kreisform angeordnet sind, sodass sie eine Projektionsnormale nach außen zur Kreisform aufweisen. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe eines Teils oder sämtlicher Computergrafik(CG)-Inhalte definieren. 22 FIG. 12 is a flowchart illustrating one embodiment of a process. FIG 2200 to record an omnisto-stereo panorama image using a multi-level camera frame system. At block 2202 can the system 100 define a set of images for a first stage of the multi-camera support system based on captured video streams collected from at least one set of adjacent cameras in the first stage. The first stage, in some embodiments, may be a bottom stage of the multi-stage camera support system while the cameras in the first stage may be arranged in a circular shape such that each of the first plurality of cameras has a projection normal outward to the circular shape. The system 100 can, for example, neighboring cameras (such as in 2 shown) or multiple sets of adjacent cameras (such as in 3 and 5 shown) use. In some implementations, the system may 100 define the set of images using captured video streams taken from about 12 to about 16 cameras arranged in a circular shape so that they have a projection normal outward to the circular shape. In some implementations, the system may 100 define the set of images using part or all of the computer graphics (CG) content.
Bei Block 2204 kann das System 100 einen ersten optischen Fluss für den ersten Satz von Bildern berechnen. Das Berechnen des optischen Flusses im ersten Satz von Bildern kann, wie zuvor näher beschrieben, zum Beispiel das Analysieren von Bildintensitätsfeldern für einen Teil der Spalten von Pixeln, die dem Satz von Bildern zugeordnet sind, sowie das Durchführen optischer Flusstechniken beim Teil der Spalten von Bildern beinhalten. At block 2204 can the system 100 calculate a first optical flux for the first set of images. As previously described, calculating the optical flow in the first set of images may, for example, analyze image intensity fields for a portion of the columns of pixels associated with the set of images, as well as perform optical flow techniques on the portion of the columns of images include.
In einigen Implementierungen kann der optische Fluss, wie zuvor näher beschrieben, verwendet werden, um Einzelbilder zu interpolieren, die nicht Teil des Satzes von Bildern sind. Das System 100 kann dann die Einzelbilder und den ersten Satz von Bildern zumindest teilweise auf Basis des ersten optischen Flusses zusammensetzen (bei Schritt 2206). In some implementations, the optical flow described above may be used to interpolate frames that are not part of the set of pictures. The system 100 may then assemble the frames and the first set of frames at least partially based on the first optical flow (at step 2206 ).
Bei Block 2208 kann das System 100 einen Satz von Bildern für eine zweite Stufe des Multi-Kameraträgersystems auf Basis aufgenommener Videostreams definieren, die von mindestens einem Satz benachbarter Kameras in der zweiten Stufe gesammelt wurden. Die zweite Stufe kann in einigen Ausführungsformen eine obere Stufe eines mehrstufigen Kameraträgersystems sein und die Kameras in der zweiten Stufe können so angeordnet sein, dass jede der Vielzahl von Kameras eine nach außen gerichtete Projektion aufweist, die nicht parallel zur Normalen der Kreisform der ersten Vielzahl von Kameras ist. Das System 100 kann zum Beispiel benachbarte Kameras einer oberen mehrflächigen Kappe (wie zum Beispiel in 4A und 6 dargestellt) oder mehrere Sätze benachbarter Kameras für eine zweite Stufe eines mehrstufigen Kameraträgersystems verwenden. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe von aufgenommenen Videostreams definieren, die von etwa 4 bis etwa 8 Kameras gesammelt wurden. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe eines Teils oder sämtlicher Computergrafik(CG)-Inhalte definieren. At block 2208 can the system 100 define a set of images for a second stage of the multi-camera support system based on captured video streams collected from at least one set of adjacent cameras in the second stage. The second stage may be an upper stage of a multi-stage camera support system in some embodiments, and the second stage cameras may be arranged such that each of the plurality of cameras has an outward projection that is not parallel to the normal of the circular shape of the first plurality of cameras Cameras is. The system 100 For example, adjacent cameras may have an upper multi-surface cap (such as in FIG 4A and 6 shown) or multiple sets of adjacent cameras for a second stage of a multi-stage camera support system. In some implementations, the system may 100 Define the set of images using captured video streams collected from about 4 to about 8 cameras. In some implementations, the system may 100 define the set of images using part or all of the computer graphics (CG) content.
Bei Block 2210 kann das System 100 einen zweiten optischen Fluss für den zweiten Satz von Bildern berechnen. Das Berechnen des optischen Flusses im zweiten Satz von Bildern kann, wie zuvor näher beschrieben, zum Beispiel das Analysieren von Bildintensitätsfeldern für einen Teil der Spalten von Pixeln, die dem Satz von Bildern zugeordnet sind, sowie das Durchführen optischer Flusstechniken beim Teil der Spalten von Bildern beinhalten. At block 2210 can the system 100 calculate a second optical flux for the second set of images. As previously described, computing the optical flow in the second set of images may, for example, analyze image intensity fields for a portion of the columns of pixels associated with the set of images, as well as perform optical flow techniques on the portion of the columns of images include.
In einigen Implementierungen kann der optische Fluss, wie zuvor näher beschrieben, verwendet werden, um Einzelbilder zu interpolieren, die nicht Teil des Satzes von Bildern sind. Das System 100 kann dann die Einzelbilder und den zweiten Satz von Bildern zumindest teilweise auf Basis des zweiten optischen Flusses zusammensetzen (bei Schritt 2212). In some implementations, the optical flow described above may be used to interpolate frames that are not part of the set of pictures. The system 100 may then assemble the frames and the second set of frames based at least in part on the second optical flow (at step 2212 ).
Bei Block 2214 kann das System 100 ein Omnistereo erzeugen, indem es das erste zusammengesetzte Bild, das der ersten Stufe der mehrstufigen Kamera zugeordnet ist, mit dem zweiten Bild, das der zweiten Stufe der mehrstufigen Kamera zugeordnet ist, zusammensetzt. In einigen Implementierungen dient das Omnistereo-Panorama der Anzeige in einem am Kopf befestigten VR-Anzeigegerät. In einigen Implementierungen kann das System 100 die Bildzusammensetzung mithilfe von Haltungsinformationen durchführen, die dem mindestens einen Satz von Stereo-Nachbarn zugeordnet sind, um zum Beispiel einen Teil des Satzes von Bildern vorab zusammenzusetzen, bevor das Verschachteln durchgeführt wird. At block 2214 can the system 100 generate an omnistereo by composing the first composite image associated with the first stage of the multi-stage camera with the second image associated with the second stage of the multi-stage camera. In some implementations, the omnistereo-panorama of the display is in a head-mounted VR display. In some Implementations can be the system 100 perform the image composition using attitude information associated with the at least one set of stereo neighbors, for example, pre-composing a portion of the set of images before interleaving is performed.
23 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses 2300 zum Wiedergeben von Panoramabildern in einem am Kopf befestigten Anzeigegerät abbildet. Wie in 23 bei Block 2302 dargestellt, kann das System 100 einen Satz von Bildern empfangen. Die Bilder können von einem mehrstufigen Kameraträgersystem aufgenommene Inhalte zeigen. Bei Block 2304 kann das System 100 Teile der Einzelbilder in den Bildern auswählen. Die Einzelbilder können Inhalte beinhalten, die mit dem mehrstufigen Kameraträgersystem aufgenommen wurden. Das System 100 kann jeden beliebigen Teil der aufgenommenen Inhalte verwenden. Das System 100 kann zum Beispiel einen Teil der Einzelbilder auswählen, die Inhalte beinhalten, die durch das Trägersystem aus einem Abstand von etwa einem radialen Meter von einer Außenkante einer Basis des Kameraträgersystems bis etwa fünf radialen Metern von der Außenkante der Basis des Kameraträgersystems aufgenommen wurden. In einigen Implementierungen kann diese Auswahl darauf basieren, wie weit weg ein Benutzer 3D-Inhalte wahrnehmen kann. Hier kann der Abstand von einem Meter von der Kamera bis etwa fünf Meter von der Kamera eine „Zone“ darstellen, in der ein Benutzer 3D-Inhalte sehen kann. Bei einem kürzeren Abstand kann die 3D-Ansicht verzerrt sein, während es bei einem größeren Abstand sein kann, dass der Benutzer bestimmte 3D-Formen nicht feststellen kann. Das heißt, die Szene kann aus der Ferne einfach wie 2D aussehen. 23 FIG. 12 is a flowchart illustrating one embodiment of a process. FIG 2300 for reproducing panoramic images in a head-mounted display device. As in 23 at block 2302 represented, the system can 100 received a set of pictures. The pictures can show contents recorded by a multi-level camera carrier system. At block 2304 can the system 100 Select parts of the frames in the pictures. The frames may include content recorded with the multi-level camera support system. The system 100 can use any part of the recorded content. The system 100 For example, it may select a portion of the frames that include content captured by the support system from a distance of about one radial meter from an outer edge of a base of the camera support system to about five radial meters from the outer edge of the base of the camera support system. In some implementations, this selection may be based on how far away a user can perceive 3D content. Here, the distance of one meter from the camera to about five meters from the camera can be a "zone" where a user can see 3D content. With a shorter distance, the 3D view may be distorted, while at a greater distance, the user may not be able to detect certain 3D shapes. That is, the scene can look remotely like 2D.
Bei Block 2306 können die ausgewählten Teile der Einzelbilder zusammengesetzt werden, um eine stereoskope Panorama-Ansicht zu erzeugen. In diesem Beispiel kann das Zusammensetzen zumindest teilweise auf der Übereinstimmung der ausgewählten Teile mit mindestens einem anderen Einzelbild in den ausgewählten Teilen basieren. Bei Block 2308 kann die Panorama-Ansicht in einem Anzeigegerät, wie z. B. einem HMD-Gerät bereitgestellt werden. In einigen Implementierungen kann das Zusammensetzen mithilfe eines Zusammensetzungsverhältnisses durchgeführt werden, das zumindest teilweise auf dem Durchmesser des Kameraträgersystems basiert. In einigen Implementierungen beinhaltet das Zusammensetzen eine Reihe von Schritten des Abgleichens einer ersten Spalte von Pixeln in einem ersten Einzelbild mit einer zweiten Spalte von Pixeln in einem zweiten Einzelbild, sowie dem Abstimmen der zweiten Spalte von Pixeln mit einer dritten Spalte von Pixeln in einem dritten Einzelbild, um einen zusammenhängenden Szenenteil zu bilden. In einigen Implementierungen können viele Spalten von Pixeln auf diese Weise abgeglichen und kombiniert werden, um ein Einzelbild zu bilden, und diese Einzelbilder können kombiniert werden, um ein Bild zu bilden. Des Weiteren können diese Bilder kombiniert werden, um eine Szene zu bilden. Gemäß einigen Implementierungen kann das System 100 Blöcke 2306 und 2308 für jede Stufe des mehrstufigen Kameraträgersystems durchführen, um ein zusammengesetztes Bild zu erstellen, das jeder Stufe des Kameraträgersystems zugeordnet ist, und das System 100 kann die zusammengesetzten Bilder zusammensetzen, um eine Panorama-Ansicht zu erzeugen. At block 2306 For example, the selected portions of the frames may be combined to produce a stereoscopic panorama view. In this example, the composition may be based, at least in part, on the matching of the selected parts with at least one other frame in the selected parts. At block 2308 can the panorama view in a display device, such. B. an HMD device can be provided. In some implementations, the compositing may be performed using a compositional ratio based at least in part on the diameter of the camera support system. In some implementations, the compositing includes a series of steps of matching a first column of pixels in a first frame with a second column of pixels in a second frame, as well as matching the second column of pixels with a third column of pixels in a third frame to form a coherent scene part. In some implementations, many columns of pixels may be matched and combined in this manner to form a frame, and these frames may be combined to form an image. Furthermore, these images can be combined to form a scene. According to some implementations, the system may 100 blocks 2306 and 2308 for each stage of the multi-stage camera support system to create a composite image associated with each stage of the camera support system and the system 100 can assemble the composite images to create a panoramic view.
In einigen Implementierungen kann das Verfahren 2300 einen Interpolationsschritt beinhalten, der das System 100 verwendet, um zusätzliche Einzelbilder zu interpolieren, die nicht Bestandteil der Teile der Bildeinzelbilder sind. Diese Interpolation kann durchgeführt werden, um sicherzustellen, dass ein Fluss zwischen Bildern erfolgt, die zum Beispiel von Kameras aufgenommen wurden und weit entfernt sind. Sobald die Interpolation zusätzlicher Bildinhalte durchgeführt wird, kann das System 100 die zusätzlichen Einzelbilder in die Teile der Einzelbilder verschachteln, um virtuelle Inhalte für die Ansicht zu erzeugen. Diese virtuellen Inhalte können als Teile der Einzelbilder, verschachtelt mit den zusätzlichen Einzelbildern, zusammengesetzt werden. Das Ergebnis kann als aktualisierte Ansicht zum Beispiel für das HMD bereitgestellt werden. Diese aktualisierte Ansicht kann zumindest teilweise auf den Teilen der Einzelbilder und der zusätzlichen Einzelbilder basieren. In some implementations, the method may 2300 include an interpolation step involving the system 100 used to interpolate additional frames that are not part of the image frames. This interpolation can be performed to ensure that there is a flow between images captured by cameras, for example, and far away. Once the interpolation of additional image content is performed, the system can 100 nested the extra frames into the parts of the frames to create virtual content for the view. These virtual contents can be assembled as parts of the frames nested with the additional frames. The result can be provided as an updated view for example for the HMD. This updated view may be based, at least in part, on the portions of the frames and the additional frames.
24 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses 2400 zum Bestimmen von Bildgrenzen für eine Stufe eines mehrstufigen Kameraträgersystems abbildet. Bei Block 2402 kann das System 100 einen Satz von Bildern auf Basis aufgenommener Videostreams definieren, die von mindestens einem Satz benachbarter Kameras in einer Stufe eines mehrstufigen Kameraträgersystems gesammelt wurden. Das System 100 kann zum Beispiel einen Satz benachbarter Kameras (wie in 2 dargestellt) oder mehrere Sätze von benachbarten Kameras (wie in 3 und 4A dargestellt) verwenden. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe von aufgenommenen Videostreams definieren, die von etwa 12 bis etwa 16 Kameras gesammelt wurden. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe eines Teils oder sämtlicher Computergrafik(CG)-Inhalte definieren. In einigen Implementierungen beinhalten die Videostreams, die dem Satz von Bildern entsprechen, codierte Videoinhalte. In einigen Implementierungen, können die Videostreams, die dem Satz von Bildern entsprechen, Inhalte beinhalten, die mit mindestens einem Satz benachbarter Kameras erfasst wurden, die mit einem Sichtfeld von einhundertachzig Grad konfiguriert sind. 24 FIG. 12 is a flowchart illustrating one embodiment of a process. FIG 2400 for defining image boundaries for a stage of a multilevel camera support system. At block 2402 can the system 100 define a set of images based on captured video streams collected from at least one set of adjacent cameras in a stage of a multilevel camera support system. The system 100 For example, a set of neighboring cameras (as in 2 shown) or multiple sets of neighboring cameras (as in 3 and 4A shown) use. In some implementations, the system may 100 Define the set of images using captured video streams collected from approximately 12 to approximately 16 cameras. In some implementations, the system may 100 define the set of images using part or all of the computer graphics (CG) content. In some implementations, the video streams that correspond to the set of images include encoded video content. In some implementations, the video streams corresponding to the set of images may include content acquired with at least one set of adjacent cameras configured with a field of view of one hundred and eighty degrees.
Bei Block 2404 kann das System 100 einen Teil eines Satzes von Bildern, die einer Stufe des mehrstufigen Kameraträgersystems zugeordnet sind, von einer perspektivischen Bildebene auf eine sphärische Bildebene durch Neucasten von Betrachtungsstrahlen, die dem Teil des Satzes von Bildern aus mehreren Standpunkten, die in einem Teil eines kreisförmigen Pfads zu einem Standpunkt angeordnet sind, projizieren. Der Satz von Bildern kann zum Beispiel durch eine Stufe eines mehrstufigen Kameraträgersystems aufgenommen werden, in der Bildsensoren in einer Kreisform an einem kreisförmigen Kameragehäuse-Kameraträgersystem angeordnet sind, das eine Reihe von Kameras unterbringen kann (wie z. B. in 4A dargestellt). Jede Kamera kann einem Standpunkt zugeordnet sein, und diese Standpunkte können vom Kameraträgersystem nach außen auf eine Szene ausgerichtet sein. Insbesondere stammen Betrachtungsstrahlen von jeder Kamera am Trägersystem anstatt von einem einzelnen Punkt. Das System 100 kann Strahlen von den verschiedenen Standpunkten am Pfad in einem einzigen Standpunkt neu casten. Das System 100 kann zum Beispiel jeden Standpunkt einer Szene, die von den Kameras aufgenommen wurde, analysieren und kann Ähnlichkeiten und Unterschiede berechnen, um eine Szene (oder einen Satz von Szenen) zu berechnen, die die Szene von einem einzelnen interpolierten Standpunkt darstellt. At block 2404 can the system 100 a portion of a set of images associated with a stage of the multi-level camera support system from a perspective image plane to a spherical image plane by relinking viewing rays representing the portion of the set of images from multiple viewpoints that are in a portion of a circular path to a viewpoint are arranged, project. For example, the set of images may be captured by a stage of a multi-stage camera support system in which image sensors are arranged in a circular shape on a circular camera body camera support system that can accommodate a series of cameras (such as in FIG 4A shown). Each camera may be associated with a viewpoint, and these viewpoints may be outwardly aligned with the scene from the camera support system. In particular, viewing beams originate from each camera on the carrier system rather than from a single point. The system 100 can re-cast rays from the different viewpoints on the path in a single viewpoint. The system 100 For example, it may analyze each viewpoint of a scene taken by the cameras and may compute similarities and differences to compute a scene (or set of scenes) representing the scene from a single interpolated viewpoint.
Bei Block 2406 kann das System 100 eine periphere Grenze bestimmen, die dem einzelnen Standpunkt entspricht, und aktualisierte Bilder durch Entfernen von Pixeln außerhalb der peripheren Grenze erzeugen. Die periphere Grenze kann klare, präzise Bildinhalte von verzerrten Bildinhalten abgrenzen. Die periphere Grenze kann zum Beispiel Pixel ohne Verzerrungen von Pixeln mit Verzerrungen abgrenzen. In einigen Implementierungen kann sich die periphere Grenze auf Ansichten außerhalb des typischen peripheren Sichtbereichs eines Benutzers beziehen. Das Entfernen dieser Pixel kann sicherstellen, dass dem Benutzer nicht unnötigerweise verzerrte Bildinhalte präsentiert werden. Das Entfernen der Pixel kann, wie zuvor näher erläutert, das Ersetzen der Pixel durch einen Farbblock, ein statisches Bild oder eine verschwommene Darstellung der Pixel beinhalten. In einigen Implementierungen ist die periphere Grenze auf ein Sichtfeld von etwa 150 Grad für eine oder mehrere Kameras definiert, die den aufgenommenen Bildern zugeordnet sind. In einigen Implementierungen ist die periphere Grenze auf ein Sichtfeld von etwa 120 Grad für eine oder mehrere Kameras definiert, die den aufgenommenen Bildern zugeordnet sind. In einigen Implementierungen ist die periphere Grenze ein Teil einer sphärischen Form, die etwa 30 Grad über einer Betrachtungsebene für eine Kamera entspricht, die den aufgenommenen Bilder zugeordnet ist, und das Entfernen der Pixel beinhaltet das Schwärzen oder Entfernen eines oberen Teils der sphärischen Szene. In einigen Implementierungen ist die periphere Grenze ein Teil einer sphärischen Form, die etwa 30 Grad unter einer Betrachtungsebene für eine Kamera entspricht, die den aufgenommenen Bilder zugeordnet ist, und das Entfernen der Pixel beinhaltet das Schwärzen oder Entfernen eines oberen Teils der sphärischen Szene. Bei Block 2408 kann das System 100 die aktualisierten Bilder für die Anzeige innerhalb der Grenzen der peripheren Grenze bereitstellen. At block 2406 can the system 100 determine a peripheral boundary corresponding to the single viewpoint and generate updated images by removing pixels outside the peripheral boundary. The peripheral border can distinguish clear, precise image content from distorted image content. For example, the peripheral boundary may demarcate pixels without distortion of pixels with distortions. In some implementations, the peripheral boundary may refer to views outside the typical peripheral viewing area of a user. Removing these pixels can ensure that the user is not presented with unnecessarily distorted image content. The removal of the pixels, as explained in more detail above, may involve replacing the pixels with a color block, a static image, or a blurry representation of the pixels. In some implementations, the peripheral boundary is defined to a field of view of about 150 degrees for one or more cameras associated with the captured images. In some implementations, the peripheral boundary is defined to a field of view of about 120 degrees for one or more cameras associated with the captured images. In some implementations, the peripheral boundary is part of a spherical shape that is about 30 degrees above a viewing plane for a camera associated with the captured images, and removal of the pixels involves blackening or removing an upper portion of the spherical scene. In some implementations, the peripheral boundary is part of a spherical shape that is about 30 degrees below a viewing plane for a camera associated with the captured images, and removal of the pixels involves blackening or removing an upper portion of the spherical scene. At block 2408 can the system 100 provide the updated images for display within the boundaries of the peripheral boundary.
In einigen Implementierungen kann das Verfahren 2400 außerdem das Zusammensetzen von mindestens zwei Einzelbildern im Satz von Bildern aus der einen Stufe des mehrstufigen Kameraträgersystems beinhalten. Das Zusammensetzen kann einen Schritt des Abtastens von Spalten von Pixeln aus den Einzelbildern und des Interpolierens, zwischen mindestens zwei abgetasteten Spalten von Pixeln, zusätzlicher Spalten von Pixeln beinhalten, die in den Einzelbildern nicht aufgenommen sind. Außerdem kann das Zusammensetzen einen Schritt des Zusammenmischens der abgetasteten Spalten und zusätzlicher Spalten zur Erzeugung eines Pixelwerts beinhalten. In einigen Implementierungen kann das Mischen mithilfe eines Zusammensetzungsverhältnisses durchgeführt werden, das zumindest teilweise auf einem Durchmesser eines kreisförmigen Kameraträgersystems basiert, das zum Erfassen der aufgenommenen Bilder verwendet wird. Das Zusammensetzen kann außerdem einen Schritt des Erzeugens eines dreidimensionalen stereoskopen Panoramas durch Konfigurieren des Pixelwerts in eine linke Szene und eine rechte Szene beinhalten, die für die Anzeige zum Beispiel in einem HMD bereitgestellt werden kann. In some implementations, the method may 2400 also include compositing at least two frames in the set of images from the one stage of the multi-stage camera support system. The compositing may include a step of scanning columns of pixels from the frames and interpolating, between at least two scanned columns of pixels, additional columns of pixels not included in the frames. Additionally, the compositing may include a step of merging the scanned columns and additional columns to produce a pixel value. In some implementations, the blending may be performed using a composition ratio based at least in part on a diameter of a circular camera support system used to capture the captured images. The compositing may also include a step of generating a three-dimensional stereoscopic panorama by configuring the pixel value into a left scene and a right scene that may be provided for display in, for example, an HMD.
25 zeigt ein Ablaufdiagramm, das eine Ausführungsform eines Prozesses 2500 zum Erzeugen von Videoinhalten abbildet. Bei Block 2502 kann das System 100 einen Satz von Bildern auf Basis aufgenommener Videostreams definieren, die von mindestens einem Satz benachbarter Kameras gesammelt wurden. Das System 100 kann zum Beispiel ein Stereopaar (wie in 2 dargestellt) oder mehrere Sätze von benachbarten Kameras (wie zum Beispiel in 3 und 4A dargestellt) verwenden. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe von aufgenommenen Videostreams definieren, die von etwa 12 bis etwa 16 Kameras in einem mehrstufigen Kameraträgersystem und 4 bis 8 Kameras in einer zweiten Stufe für das mehrstufige Kameraträgersystem gesammelt wurden. In einigen Implementierungen kann das System 100 den Satz von Bildern mithilfe eines Teils oder sämtlicher Computergrafik(CG)-Inhalte definieren. 25 FIG. 12 is a flowchart illustrating one embodiment of a process. FIG 2500 to create video content. At block 2502 can the system 100 define a set of images based on captured video streams collected from at least one set of adjacent cameras. The system 100 For example, a stereo pair (as in 2 shown) or multiple sets of adjacent cameras (such as in 3 and 4A shown) use. In some implementations, the system may 100 Define the set of images using captured video streams collected from approximately 12 to approximately 16 cameras in a multi-level camera carrier system and 4 to 8 cameras in a second stage for the multi-level camera carrier system. In some implementations, the system may 100 define the set of images using part or all of the computer graphics (CG) content.
Bei Block 2504 kann das System 100 den Satz von Bildern in einen äquirektangulären Videostream zusammensetzen. Das Zusammensetzen kann zum Beispiel das Kombinieren von Bildern, die einem Kameraaufnahmewinkel nach links zugeordnet sind, mit Bildern, die einem nach rechts weisenden Kameraaufnahmewinkel zugeordnet sind, beinhalten. At block 2504 can the system 100 compose the set of images into an eighteen-digit video stream. For example, compositing may combine images that one Camera shooting angle are assigned to the left, with images that are associated with a right-facing camera shooting angle include.
Bei Block 2506 kann das System den Videostream für die Wiedergabe durch Projizieren des Videostreams von äquirektangulär zu perspektivisch für eine erste Ansicht und eine zweite Ansicht wiedergeben. Die erste Ansicht kann einer Ansicht des linken Auges eines am Kopf befestigten Anzeigegeräts entsprechen, während die zweite Ansicht einer Ansicht des rechten Auges eines am Kopf befestigten Anzeigegeräts entsprechen kann. At block 2506 For example, the system may render the video stream for playback by projecting the video stream from angular to perspective for a first view and a second view. The first view may correspond to a left eye view of a head mounted display, while the second view may correspond to a right eye view of a head mounted display.
Bei Block 2508 kann das System eine Grenze bestimmen, bei der die Verzerrung über einem vorher definierten Schwellenwert liegt. Der vorher definierte Schwellenwert kann einen Grad der Parallaxe, einen Grad der Nichtübereinstimmung und/oder einen Grad des zulässigen Fehlers innerhalb eines bestimmten Satzes von Bildern bereitstellen. Die Verzerrung kann zumindest teilweise auf der Projektionskonfiguration basieren, wenn der Videostream zum Beispiel von einer Ebene oder Ansicht zu einer anderen Ebene oder Ansicht projiziert wird. At block 2508 For example, the system may determine a limit where the distortion is above a predefined threshold. The predefined threshold may provide a degree of parallax, a degree of mismatch, and / or a degree of allowable error within a particular set of images. The distortion may be based, at least in part, on the projection configuration, for example, when the video stream is projected from one level or view to another level or view.
Bei Block 2510 kann das System, wie zuvor näher erläutert, einen aktualisierten Videostream erzeugen, indem es Bildinhalte im Satz der Bilder bei der oder über die Grenze hinaus entfernt. Nach Aktualisieren des Videostreams kann der aktualisierte Stream zum Beispiel einem Benutzer eines HMD zur Anzeige bereitgestellt werden. Im Allgemeinen können Systeme und Verfahren, die in dieser gesamten Offenbarung beschrieben sind, bewirken, dass Bilder aufgenommen, Verzerrungen aus den aufgenommenen Bildern entfernt und Bilder wiedergegeben werden, um eine stereoskope 3D-Ansicht für einen Benutzer eine HMD-Geräts bereitzustellen. At block 2510 For example, as discussed above, the system may generate an updated video stream by removing image content in the set of images at or beyond the boundary. For example, after updating the video stream, the updated stream may be provided to a user of an HMD for display. In general, systems and methods described throughout this disclosure may cause images to be taken, distortions removed from the captured images, and images played back to provide a stereoscopic 3D view for a user of an HMD device.
26 zeigt ein Beispiel eines allgemeinen Computergeräts 2600 und eines allgemeinen mobilen Computergeräts 2650, die mit den hier beschriebenen Techniken verwendet werden können. Computergerät 2600 soll verschiedene Formen von Digitalcomputern darstellen, zum Beispiel Laptops, Desktops, Workstations, persönliche digitale Assistenten, Server, Blade Server, Mainframes und andere geeignete Computer. Das Computergerät 2650 soll verschiedene Formen von Mobilgeräten, wie z. B. persönliche digitale Assistenten, Mobiltelefone, Smartphones und andere ähnliche Computergeräte, darstellen. Die hier gezeigten Komponenten, deren Verbindungen und Beziehungen, sowie deren Funktionen sollen lediglich exemplarisch sein und die Implementierungen der in diesem Dokument beschriebenen bzw. beanspruchten Erfindungen in keiner Weise einschränken. 26 shows an example of a general computing device 2600 and a general mobile computing device 2650 that can be used with the techniques described herein. computing device 2600 is intended to represent various forms of digital computers, for example, laptops, desktops, workstations, personal digital assistants, servers, blade servers, mainframes, and other suitable computers. The computer device 2650 is intended to different forms of mobile devices, such. Personal digital assistants, cell phones, smart phones, and other similar computing devices. The components shown here, their connections and relationships, and their functions are merely exemplary and in no way limit the implementations of the inventions described or claimed in this document.
Das Computergerät 2600 beinhaltet einen Prozessor 2602, einen Speicher 2604, ein Speichergerät 2606, eine Hochgeschwindigkeitsschnittstelle 2608, die sich mit Speicher 2604 und Hochgeschwindigkeits-Erweiterungsanschlüssen 2610 verbindet, und eine Niedergeschwindigkeitsschnittstelle 2612, die sich mit dem 2614 und Speichergerät 2606 verbindet. Alle Komponenten 2602, 2604, 2606, 2608, 2610 und 2612 sind unter Verwendung verschiedener Busse miteinander verbunden und können auf einer gängigen Hauptplatine oder gegebenenfalls in anderer Weise montiert sein. Der Prozessor 2602 kann Anweisungen zur Ausführung innerhalb des Computergeräts 2600 verarbeiten, darunter auch Anweisungen, die in dem Speicher 2604 oder auf dem Speichergerät 2606 gespeichert sind, um grafische Informationen für eine GUI auf einem externen Eingabe-/Ausgabegerät, wie z. B. auf Anzeige 2616, die mit Hochgeschwindigkeitsschnittstelle 2608 verbunden ist, anzuzeigen. In anderen Implementierungen können gegebenenfalls mehrere Prozessoren und/oder mehrere Busse zusammen mit mehreren Speichern und Speicherarten verwendet werden. Außerdem können mehrere Computergeräte 2600 verbunden sein, wobei jedes Gerät Teile der nötigen Operationen (z. B. als Serverbank, Gruppe von Blade Servern oder Multiprozessorsystem) bereitstellt. The computer device 2600 includes a processor 2602 , a store 2604 , a storage device 2606 , a high-speed interface 2608 that deals with memory 2604 and high speed expansion ports 2610 connects, and a low-speed interface 2612 that deals with the 2614 and storage device 2606 combines. All components 2602 . 2604 . 2606 . 2608 . 2610 and 2612 are interconnected using different buses and may be mounted on a common motherboard or otherwise. The processor 2602 may instructions for execution within the computing device 2600 process, including instructions in the memory 2604 or on the storage device 2606 stored to provide graphical information for a GUI on an external input / output device such. B. on display 2616 working with high speed interface 2608 connected to display. In other implementations, multiple processors and / or multiple buses may optionally be used along with multiple memories and memory types. In addition, several computer devices 2600 Each device provides portions of the necessary operations (e.g., as a server bank, group of blade servers, or multiprocessor system).
Speicher 2604 speichert Informationen in Computergerät 2600. In einer Implementierung handelt es sich bei dem Speicher 2604 um eine nicht flüchtige Speichereinheit oder -einheiten. In einer anderen Implementierung handelt es sich bei dem Speicher 2604 um eine nicht flüchtige Speichereinheit oder -einheiten. Speicher 2604 kann zudem in einer anderen Form von computerlesbarem Medium, zum Beispiel als magnetischer oder optischer Datenträger, vorliegen. Storage 2604 stores information in computer device 2600 , In one implementation, the memory is 2604 to a non-volatile memory unit or units. In another implementation, the memory is 2604 to a non-volatile memory unit or units. Storage 2604 may also be in another form of computer-readable medium, for example, a magnetic or optical disk.
Speichergerät 2606 kann einen Massenspeicher für Computergerät 2600 bereitstellen. In einer Implementierung kann Speichergerät 2606 ein computerlesbares Medium, wie z. B. ein Diskettenlaufwerk, ein Festplattenlaufwerk, ein optisches Laufwerk, ein Magnetbandlaufwerk, ein Flash-Speicher oder ein anderes ähnliches Festkörper-Speichergerät oder eine Reihe von Geräten, darunter auch Geräte in einem Speichernetzwerk oder andere Konfigurationen, sein oder beinhalten. Ein Computerprogrammprodukt kann physisch in einem Informationsträger ausgeführt sein. Das Computerprogrammprodukt kann zudem Befehle enthalten, die bei ihrer Ausführung ein oder mehrere Verfahren, wie z. B. die oben beschriebenen, ausführen. Der Informationsträger ist ein computer- oder maschinenlesbares Medium, wie z. B. der Speicher 2604, das Speichergerät 2606 oder ein Speicher auf einem Prozessor 2602. storage device 2606 can be a mass storage device for computing device 2600 provide. In one implementation, storage device 2606 a computer-readable medium, such as A diskette drive, a hard disk drive, an optical drive, a magnetic tape drive, a flash memory or other similar solid state storage device, or a variety of devices, including devices in a storage network or other configurations. A computer program product may be physically implemented in an information carrier. The computer program product may also include instructions that, when executed, may include one or more methods, such as the following: B. those described above, run. Of the Information carrier is a computer- or machine-readable medium, such. B. the memory 2604 , the storage device 2606 or a memory on a processor 2602 ,
Hochgeschwindigkeitscontroller 2608 verwaltet bandbreitenintensive Operationen für das Computergerät 2600, während Niedergeschwindigkeitscontroller 2612 weniger bandbreitenintensive Operationen verwaltet. Diese Zuweisung von Funktionen ist lediglich exemplarisch. In einer Implementierung ist Hochgeschwindigkeitscontroller 2608 mit Speicher 2604, Anzeige 2616 (z. B. durch einen Grafikprozessor oder -beschleuniger) und den Hochgeschwindigkeits-Erweiterungsanschlüssen 2610 gekoppelt, die verschiedene Erweiterungskarten aufnehmen können (nicht dargestellt). In der Implementierung ist Niedergeschwindigkeitscontroller 2612 mit Speichergerät 2606 und Niedergeschwindigkeits-Erweiterungsanschluss 2614 gekoppelt. Der Niedergeschwindigkeits-Erweiterungsanschluss, der ggf. verschiedene Kommunikationsanschlüsse (z. B. USB, Bluetooth, Ethernet, drahtloses Ethernet) beinhaltet, kann, z. B. durch einen Netzwerkadapter, an ein oder mehrere Ein-/Ausgabegeräte, wie z. B. eine Tastatur, ein Zeigegerät, einen Scanner oder ein Netzwerkgerät, wie z. B. einen Switch oder Router, gekoppelt sein. High Speed Controller 2608 Manages bandwidth-intensive operations for the computing device 2600 while low-speed controller 2612 managed less bandwidth-intensive operations. This assignment of functions is merely exemplary. In one implementation is high-speed controller 2608 with memory 2604 , Display 2616 (eg, by a graphics processor or accelerator) and the high-speed expansion ports 2610 coupled, which can accommodate various expansion cards (not shown). In the implementation is low-speed controller 2612 with storage device 2606 and low speed expansion port 2614 coupled. The low-speed expansion port, which may include different communication ports (eg, USB, Bluetooth, Ethernet, wireless Ethernet), may, for example, B. by a network adapter to one or more input / output devices, such. As a keyboard, a pointing device, a scanner or a network device such. As a switch or router, coupled.
Computergerät 2600 kann, wie in der Figur ersichtlich, in einer Reihe verschiedener Formen implementiert sein. Es kann zum Beispiel als Standardserver 2620 oder mehrmals in einer Gruppe derartiger Server implementiert sein. Es kann zudem als Bestandteil eines Rackserversystems 2624 implementiert sein. Darüber hinaus kann es in einem PC, wie z. B. in einem Laptopcomputer 2622, implementiert sein. Alternativ dazu können Komponenten von Computergerät 2600 mit anderen Komponenten in einem Mobilgerät (nicht dargestellt), wie z. B. Gerät 2650, kombiniert sein. Jedes dieser Geräte kann eine oder mehrere der Computergeräte 2600, 2650 enthalten und ein gesamtes System kann sich aus mehreren Computergeräten 2600, 2650 zusammensetzen, die miteinander kommunizieren. computing device 2600 As shown in the figure, it can be implemented in a number of different forms. It can be used as a standard server, for example 2620 or implemented several times in a group of such servers. It can also be part of a rack server system 2624 be implemented. In addition, it can work in a PC, such as. In a laptop computer 2622 to be implemented. Alternatively, components of computing device 2600 with other components in a mobile device (not shown) such. B. device 2650 be combined. Each of these devices can be one or more of the computing devices 2600 . 2650 included and an entire system can be made up of multiple computing devices 2600 . 2650 put together, communicate with each other.
Computergerät 2650 beinhaltet unter anderen Komponenten einen Prozessor 2652, einen Speicher 2664, ein Eingabe-/Ausgabegerät, wie z. B. eine Anzeige 2654, eine Kommunikationsschnittstelle 2666 und einen Sendeempfänger 2668. Gerät 2650 kann ebenfalls mit einem Speichergerät, wie z. B. einem Microdrive oder einem anderen Gerät ausgestattet sein, um zusätzlichen Speicher bereitzustellen. Alle Komponenten 2650, 2652, 2664, 2654, 2666 und 2668 sind unter Verwendung verschiedener Busse miteinander verbunden, wobei mehrere der Komponenten auf einer gängigen Hauptplatine oder gegebenenfalls in anderer Weise montiert sein können. computing device 2650 includes a processor among other components 2652 , a store 2664 , an input / output device, such. B. an advertisement 2654 , a communication interface 2666 and a transceiver 2668 , device 2650 can also be used with a storage device such. B. a microdrive or other device to provide additional memory. All components 2650 . 2652 . 2664 . 2654 . 2666 and 2668 are interconnected using different buses, with multiple of the components mounted on a common motherboard or otherwise.
Prozessor 2652 kann Anweisungen in dem Computergerät 2650, darunter auch die im Speicher 2664 gespeicherten Anweisungen, ausführen. Der Prozessor kann als Chipsatz von Chips implementiert werden, die separate und mehrere analoge und digitale Prozessoren beinhalten. Der Prozessor kann beispielsweise zur Koordinierung der anderen Komponenten des Geräts 2650, wie beispielsweise zur Steuerung von Benutzeroberflächen, Anwendungen, die von Gerät 2650 ausgeführt werden, sowie eine drahtlose Kommunikation durch Gerät 2650 bereitstellen. processor 2652 can be instructions in the computer device 2650 including those in the store 2664 stored instructions, execute. The processor may be implemented as a chipset of chips that include separate and multiple analog and digital processors. For example, the processor may coordinate the other components of the device 2650 for example, to control user interfaces, applications by device 2650 be executed, as well as a wireless communication through device 2650 provide.
Prozessor 2652 kann mit einem Benutzer über Steuerschnittstelle 2658 und die mit einer Anzeige 2654 gekoppelten Anzeigeschnittstelle 2656 kommunizieren. Anzeige 2654 kann zum Beispiel eine TFT-LCD-(Dünnfilmtransistor-Flüssigkristallanzeige) oder eine OLED-Anzeige (organische Leuchtdiode) oder eine andere geeignete Anzeigetechnologie sein. Anzeigeschnittstelle 2656 kann eine geeignete Schaltung umfassen, die Anzeige 2654 dazu bringt, einem Benutzer grafische und andere Informationen zu präsentieren. Steuerschnittstelle 2658 kann Befehle von einem Benutzer empfangen und sie für das Senden an Prozessor 2652 umwandeln. Zusätzlich kann eine externe Schnittstelle 2662 in Verbindung mit Prozessor 2652 bereitgestellt sein, um eine Nahbereichskommunikation von Gerät 2650 mit anderen Geräten zu ermöglichen. Die externe Schnittstelle 2662 kann beispielsweise in einigen Implementierungen eine drahtgebundene Verbindung oder in anderen Implementierungen eine drahtlose Verbindung sein, wobei auch mehrere Schnittstellen verwendet werden können. processor 2652 can with a user via control interface 2658 and those with an ad 2654 coupled display interface 2656 communicate. display 2654 For example, a TFT-LCD (Thin Film Transistor Liquid Crystal Display) or an OLED (Organic Light Emitting Diode) display or other suitable display technology may be used. Display interface 2656 may include a suitable circuit, the display 2654 to present graphical and other information to a user. Control interface 2658 can receive commands from a user and send them to the processor for sending 2652 convert. In addition, an external interface 2662 in conjunction with processor 2652 be provided to a short-range communication device 2650 to allow with other devices. The external interface 2662 For example, in some implementations, it may be a wired connection or, in other implementations, a wireless connection, where multiple interfaces may be used.
Speicher 2664 speichert Informationen in Computergerät 2650. Speicher 2664 kann als ein oder mehrere computerlesbare Medien, flüchtige Speichereinheiten und/oder nicht flüchtige Speichereinheiten implementiert werden. Erweiterungsspeicher 2674 kann ebenfalls bereitgestellt und mit dem Gerät 2650 über die Erweiterungsschnittstelle 2672 verbunden sein, die zum Beispiel eine SIMM-(Single In Line Memory Module)-Kartenschnittstelle beinhalten kann. Dieser Erweiterungsspeicher 2674 kann zusätzlichen Speicherplatz für Gerät 2650 bereitstellen oder kann auch Anwendungen oder andere Informationen für Gerät 2650 speichern. Insbesondere kann der Erweiterungsspeicher 2674 Anweisungen zum Ausführen oder Ergänzen der oben beschriebenen Prozesse beinhalten und kann außerdem sichere Informationen einschließen. Somit kann Erweiterungsspeicher 2674 zum Beispiel als Sicherheitsmodul für Gerät 2650 bereitgestellt werden und mit Anweisungen programmiert sein, die die sichere Verwendung von Gerät 2650 ermöglichen. Zudem können über die SIMM-Karten sichere Anwendungen zusammen mit zusätzlichen Informationen, wie dem Ablegen von Identifizierungsinformationen auf der SIMM-Karte auf eine Weise bereitgestellt werden, die sich nicht hacken lässt. Storage 2664 stores information in computer device 2650 , Storage 2664 can be implemented as one or more computer-readable media, volatile storage devices and / or non-volatile storage devices. extended memory 2674 can also be provided and with the device 2650 via the extension interface 2672 which may include, for example, a SIMM (Single In-Line Memory Module) card interface. This expansion memory 2674 can add extra storage space for device 2650 can also provide applications or other information for device 2650 to save. In particular, the extended memory 2674 Instructions for carrying out or supplementing the processes described above may and may also include secure information. Thus, expansion memory can 2674 for example as a security module for the device 2650 be provided and with Instructions should be programmed to ensure the safe use of the device 2650 enable. In addition, the SIMM cards can provide secure applications along with additional information, such as storing identification information on the SIMM card in a way that can not be hacked.
Der Speicher kann, wie im Folgenden besprochen, zum Beispiel Flashspeicher und/oder NVRAM-Speicher beinhalten. In einer Implementierung ist ein Computerprogrammprodukt physisch in einem Informationsträger enthalten. Das Computerprogrammprodukt enthält Befehle, bei deren Ausführung ein oder mehrere Verfahren, wie die oben beschriebenen, ausgeführt werden. Der Informationsträger ist ein computer- oder maschinenlesbares Medium, wie z. B. Speicher 2664, Speichererweiterung 2674 oder der Speicher auf Prozessor 2652, der zum Beispiel, über den Sendeempfänger 2668 oder die externe Schnittstelle 2662 empfangen werden kann. The memory may include, for example, flash memory and / or NVRAM memory as discussed below. In one implementation, a computer program product is physically contained in an information carrier. The computer program product includes instructions that execute one or more methods, such as those described above, when executed. The information carrier is a computer- or machine-readable medium, such. B. memory 2664 , Memory expansion 2674 or the memory on processor 2652 that, for example, via the transceiver 2668 or the external interface 2662 can be received.
Das Gerät 2650 kann über Kommunikationsschnittstelle 2666 drahtlos kommunizieren, die bei Bedarf eine digitale Signalverarbeitungsschaltung beinhalten kann. Die Kommunikationsschnittstelle 2666 kann die Kommunikation mit verschiedenen Kommunikationstypen oder -protokollen ermöglichen, darunter GSM-Sprachanrufe, SMS, EMS oder MMS-Messaging, CDMA, TDMA, PDC, WCDMA, CDMA2000 oder GPRS unter anderen. Diese Kommunikation kann beispielsweise durch Funkfrequenz-Sendeempfänger 2668 stattfinden. Zusätzlich kann eine Kurzstreckenkommunikation stattfinden, wie z. B. unter Verwendung eines Bluetooth-, WLAN- oder eines anderen dieser Sendeempfänger (nicht dargestellt). Außerdem kann das GPS(Globale Positionsbestimmungssystem)-Empfängermodul 2670 zusätzliche navigations- und positionsbezogene drahtlose Daten für Gerät 2650 bereitstellen, die gegebenenfalls von Anwendungen verwendet werden können, die auf Gerät 2650 ausgeführt werden. The device 2650 can via communication interface 2666 communicate wirelessly, which may include digital signal processing circuitry as needed. The communication interface 2666 can enable communication with various communication types or protocols, including GSM voice calls, SMS, EMS or MMS messaging, CDMA, TDMA, PDC, WCDMA, CDMA2000 or GPRS among others. This communication may be, for example, by radio frequency transceivers 2668 occur. In addition, a short-distance communication may take place, such. By using a Bluetooth, WLAN or other such transceiver (not shown). In addition, the GPS (Global Positioning System) receiver module 2670 additional navigation and location related wireless data for device 2650 may be used by applications that may be on device 2650 be executed.
Gerät 2650 kann darüber hinaus unter Verwendung des Audiocodec 2660, welcher gesprochene Informationen von einem Benutzer empfangen und diese in nutzbare digitale Informationen konvertieren kann, hörbar kommunizieren. Audiocodec 2660 kann zudem hörbaren Ton für einen Benutzer, wie beispielsweise durch einen Lautsprecher, z. B. in einem Mobilteil von Gerät 2650, erzeugen. Diese Töne können Töne von Sprachtelefonanrufen, aufgezeichnete Töne (z. B. Sprachnachrichten, Musikdateien usw.) sowie Töne beinhalten, die von auf Gerät 2650 betriebenen Anwendungen erstellt wurden. device 2650 In addition, using the audio codec 2660 which can audibly communicate spoken information from a user and convert it into usable digital information. Audio codec 2660 can also provide audible sound to a user, such as through a speaker, e.g. B. in a handset of device 2650 , produce. These tones may include tones from voice telephone calls, recorded sounds (eg, voice messages, music files, etc.), as well as sounds from on device 2650 operated applications were created.
Das Computergerät 2650 kann, wie in der Figur ersichtlich, in einer Reihe verschiedener Formen implementiert sein. Beispielsweise kann es als Mobiltelefon 2680 implementiert sein. Es kann außerdem als Teil eines Smartphones 2682, eines persönlichen digitalen Assistenten oder eines anderen ähnlichen Mobilgeräts implementiert sein. The computer device 2650 As shown in the figure, it can be implemented in a number of different forms. For example, it can be used as a mobile phone 2680 be implemented. It can also be considered part of a smartphone 2682 , a personal digital assistant or other similar mobile device.
Verschiedene Implementierungen der hier beschriebenen Systeme und Techniken können in digitalen elektronischen Schaltungen, integrierten Schaltungen, speziell konzipierten ASICs (anwendungsorientierten integrierten Schaltungen), Computerhardware, Firmware, Software und/oder Kombinationen derselben realisiert sein. Diese verschiedenen Implementierungen können eine Implementierung in einem oder mehreren Computerprogrammen beinhalten, die auf einem programmierbaren System ausführbar und/oder interpretierbar sind, das mindestens einen programmierbaren Prozessor beinhaltet, bei dem es sich um einen Spezial- oder einen Universalprozessor handeln kann und der zum Empfangen von Daten und Befehlen von und zum Übertragen von Daten und Befehlen an ein Speichersystem, mindestens ein Eingabegerät und mindestens ein Ausgabegerät gekoppelt ist. Various implementations of the systems and techniques described herein may be implemented in digital electronic circuits, integrated circuits, specially designed ASICs (application-oriented integrated circuits), computer hardware, firmware, software, and / or combinations thereof. These various implementations may include an implementation in one or more computer programs executable and / or interpretable on a programmable system including at least one programmable processor, which may be a special purpose or general purpose processor, and which is for receiving Data and commands from and for transmitting data and commands to a storage system, at least one input device and at least one output device is coupled.
Diese Computerprogramme (auch bekannt als Programme, Software, Softwareanwendungen oder Code) beinhalten Maschinenbefehle für einen programmierbaren Prozessor und können in einer höheren prozeduralen und/oder objektorientierten Programmiersprache und/oder in Assembler-/Maschinensprache implementiert sein. Wie hierin verwendet, bezeichnen die Begriffe „maschinenlesbares Medium“, „computerlesbares Medium“ ein beliebiges Computerprogrammprodukt, eine beliebige Vorrichtung und/oder ein beliebiges Gerät (z. B. magnetische Platten, optische Platten, Speicher, programmierbare Logikbausteine (PLDs)), die verwendet werden, um einem programmierbaren Prozessor, einschließlich einem maschinenlesbaren Medium, das Maschinenbefehle als maschinenlesbares Signal empfängt, Maschinenbefehle und/oder Daten bereitzustellen. Der Begriff „maschinenlesbares Signal“ bezeichnet ein beliebiges Signal, das verwendet wird, um einem programmierbaren Prozessor Maschinenbefehle und/oder Daten bereitzustellen. These computer programs (also known as programs, software, software applications or code) include machine instructions for a programmable processor and may be implemented in a higher level of procedural and / or object-oriented programming language and / or assembler / machine language. As used herein, the terms "machine-readable medium", "computer-readable medium" refer to any computer program product, device, and / or device (e.g., magnetic disks, optical disks, memory, programmable logic devices (PLDs)) that may be used to provide machine instructions and / or data to a programmable processor, including a machine-readable medium that receives machine instructions as a machine-readable signal. The term "machine-readable signal" refers to any signal used to provide machine instructions and / or data to a programmable processor.
Um eine Interaktion mit einem Benutzer zu ermöglichen, können die hier beschriebenen Systeme und Techniken auf einem Computer implementiert werden, der ein Anzeigegerät (wie z. B. einen CRT-(Kathodenstrahlröhren) oder LCD-(Flüssigkristallanzeige)-Monitor) aufweist, um dem Benutzer Informationen anzuzeigen, sowie eine Tastatur und ein Zeigegerät (z. B. eine Maus oder einen Trackball) aufweist, mittels denen der Benutzer eine Eingabe in den Computer vornehmen kann. Es können auch andere Arten von Geräten verwendet werden, um eine Interaktion mit einem Benutzer zu ermöglichen; beispielsweise kann eine an den Benutzer bereitgestellte Rückmeldung eine beliebige Form von sensorischer Rückmeldung (wie z. B. eine visuelle Rückmeldung, akustische Rückmeldung oder taktile Rückmeldung) sein; während die Eingabe vom Benutzer ebenfalls in beliebiger Form, darunter auch als akustische, taktile oder Spracheingabe, empfangen werden kann. To facilitate interaction with a user, the systems and techniques described herein may be implemented on a computer having a display device (such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display) monitor) to facilitate the user's interaction To display user information, as well as a keyboard and a pointing device (eg a mouse or a trackball), by means of which the user can make an input to the computer. Other types of devices may be used to facilitate interaction with a user; For example, a feedback provided to the user may be any form of sensory feedback (such as visual feedback, audible feedback, or tactile feedback); while the input may also be received by the user in any form, including as acoustic, tactile or voice input.
Die hier beschriebenen Systeme und Techniken können in einem Computersystem implementiert werden, das eine Backendkomponente (z. B. einen Datenserver), oder das eine Middlewarekomponente (z. B. einen Applikationsserver), oder das eine Frontendkomponente (z. B. einen Clientcomputer mit einer grafischen Benutzeroberfläche oder einem Webbrowser, durch die bzw. den ein Benutzer mit hier beschriebenen Systemimplementationen und Techniken interagieren kann) oder eine Kombination aus denselben Backend-, Middleware- oder Frontendkomponenten beinhaltet. Die Komponenten des Systems können durch eine beliebige Form oder ein beliebiges Medium digitaler Datenkommunikation (wie z. B. ein Kommunikationsnetzwerk) miteinander verbunden sein. Beispiele von Kommunikationsnetzwerken beinhalten ein lokales Netzwerk („LAN“), ein Großraumnetzwerk („WAN“) und das Internet. The systems and techniques described herein may be implemented in a computer system that includes a back end component (eg, a data server) or a middleware component (eg, an application server) or a front end component (eg, a client computer with a graphical user interface or a web browser through which a user can interact with system implementations and techniques described herein) or a combination of the same backend, middleware or frontend components. The components of the system may be interconnected by any form or medium of digital data communication (such as a communications network). Examples of communication networks include a local area network ("LAN"), a wide area network ("WAN"), and the Internet.
Das Computersystem kann Clients und Server beinhalten. Ein Client und Server befinden sich im Allgemeinen entfernt voneinander und interagieren typischerweise über ein Kommunikationsnetzwerk. Die Beziehung von Client und Server ergibt sich durch Computerprogramme, die auf den jeweiligen Computern ausgeführt werden und in einer Client-Server-Beziehung zueinander stehen. The computer system may include clients and servers. A client and server are generally remote and typically interact over a communications network. The relationship between client and server results from computer programs running on the respective computers and having a client-server relationship.
Eine Reihe von Ausführungsformen wurde beschrieben. Trotzdem versteht es sich, dass verschiedene Modifikationen durchgeführt werden können, ohne vom Sinn und Umfang der Patentschrift abzuweichen. Jeder der folgenden Ansprüche und Beispiele jener oben beschriebenen Ansprüche können zum Beispiel in jedweder Kombination kombiniert werden, um zusätzliche exemplarische Ausführungsformen zu produzieren. A number of embodiments have been described. Nevertheless, it will be understood that various modifications can be made without departing from the spirit and scope of the specification. For example, any of the following claims and examples of the above-described claims may be combined in any combination to produce additional exemplary embodiments.
Weitere Implementierungen sind in den folgenden Beispielen beschrieben: Other implementations are described in the following examples:
Beispiel 1: Ein Kameraträgersystem, umfassend: eine erste Stufe von Bildsensoren, die eine erste Vielzahl von Bildsensoren beinhaltet, wobei die erste Vielzahl von Bildsensoren in einer Kreisform angeordnet und so ausgerichtet ist, dass ein Sichtfeld jedes der ersten Vielzahl von Bildsensoren eine Achse rechtwinklig zu einer Tangente der Kreisform aufweist; und eine zweite Stufe der Bildsensoren, die eine zweite Vielzahl von Bildsensoren beinhaltet, wobei die zweite Vielzahl von Bildsensoren so ausgerichtet ist, dass ein Sichtfeld jedes der zweiten Vielzahl von Bildsensoren eine Achse aufweist, die nicht parallel zum Sichtfeld jedes der ersten Vielzahl von Bildsensoren verläuft. Example 1: A camera support system comprising: a first stage of image sensors including a first plurality of image sensors, wherein the first plurality of image sensors are arranged in a circular shape and oriented such that a field of view of each of the first plurality of image sensors is an axis orthogonal to a tangent of circular shape; and a second stage of the image sensors including a second plurality of image sensors, wherein the second plurality of image sensors are aligned such that a field of view of each of the second plurality of image sensors has an axis that is not parallel to the field of view of each of the first plurality of image sensors ,
Beispiel 2: Kameraträgersystem nach Beispiel 1, wobei das Feld des Sichtfelds jedes der ersten Vielzahl von Bildsensoren innerhalb einer ersten Ebene angeordnet ist, wobei das Sichtfeld jedes der zweiten Vielzahl von Bildsensoren innerhalb einer zweiten Ebene angeordnet ist. Example 2: The camera support system of Example 1, wherein the field of view of each of the first plurality of image sensors is disposed within a first plane, wherein the field of view of each of the second plurality of image sensors is disposed within a second plane.
Beispiel 3: Kameraträgersystem nach Beispiel 1 oder 2, wobei die erste Vielzahl von Bildsensoren, innerhalb einer ersten Ebene angeordnet ist, und die zweite Vielzahl von Bildsensoren innerhalb einer zweiten Ebene, parallel zur ersten Ebene angeordnet ist. Example 3: The camera support system of Example 1 or 2, wherein the first plurality of image sensors are disposed within a first plane and the second plurality of image sensors are disposed within a second plane parallel to the first plane.
Beispiel 4: Kameraträgersystem nach Beispiel 1 bis 3, wobei die erste Vielzahl von Bildsensoren in der ersten Ebene enthalten ist, sodass das erste Sichtfeld eines ersten der ersten Vielzahl von Bildsensoren ein zweites Sichtfeld eines zweiten der ersten Vielzahl von Bildsensoren und ein drittes Sichtfeld eines dritten der ersten Vielzahl von Bildsensoren überschneidet. Example 4: The camera support system of Example 1 to 3, wherein the first plurality of image sensors are included in the first plane so that the first field of view of a first of the first plurality of image sensors is a second field of view of a second of the first plurality of image sensors and a third field of view of a third the first plurality of image sensors overlaps.
Beispiel 5: Kameraträgersystem nach einem der Beispiele 1 bis 4, wobei das Kameraträgersystem ein Gehäuse aufweist, das einen Radius eines kreisförmigen Kameraträgersystemgehäuses definiert, sodass sich das Sichtfeld jedes der mindestens drei benachbarten Bildsensoren aus der ersten Vielzahl von Bildsensoren überlappt. Example 5: The camera support system of any one of Examples 1 to 4, wherein the camera support system includes a housing defining a radius of a circular camera support system housing such that the field of view of each of the at least three adjacent image sensors from the first plurality of image sensors overlaps.
Beispiel 6: Kameraträgersystem nach Beispiel 5, wobei die drei benachbarten Bildsensoren eine Ebene überschneiden. Example 6: Camera carrier system according to Example 5, wherein the three adjacent image sensors overlap one plane.
Beispiel 7: Kameraträgersystem nach einem der Beispiele 1 bis 6, ferner umfassend: ein Schaftgehäuse, wobei die erste Stufe der Bildsensoren zwischen der zweiten Stufe der Bildsensoren und dem Schaftgehäuse angeordnet ist. Example 7: The camera support system of any one of Examples 1 to 6, further comprising: a shaft housing, wherein the first stage of the image sensors is disposed between the second stage of the image sensors and the shaft housing.
Beispiel 8: Kameraträgersystem nach einem der Beispiele 1 bis 7, wobei die zweite Stufe der Bildsensoren sechs Bildsensoren beinhaltet und die erste Stufe der Bildsensoren sechzehn Bildsensoren beinhaltet. Example 8: A camera carrier system according to any one of Examples 1 to 7, wherein the second stage of the image sensors includes six image sensors and the first stage of the image sensors includes sixteen image sensors.
Beispiel 9: Kameraträgersystem nach Beispiel 1 bis 8, wobei das Sichtfeld jedes der ersten Vielzahl von Bildsensoren orthogonal zum Sichtfeld jedes der zweiten Vielzahl von Bildsensoren angeordnet ist. Example 9: The camera support system of Examples 1 to 8, wherein the field of view of each of the first plurality of image sensors is orthogonal to the field of view of each of the second plurality of image sensors.
Beispiel 10: Kameraträgersystem nach einem der Beispiele 1 bis 9, wobei ein Seitenverhältnis des Sichtfelds jedes der ersten Vielzahl von Bildsensoren in einem Hochformat angeordnet ist, wobei ein Seitenverhältnis des Sichtfelds jedes der zweiten Vielzahl von Bildsensoren in einem Querformat angeordnet ist. Example 10: The camera support system according to any one of Examples 1 to 9, wherein an aspect ratio of the field of view of each of the first plurality of image sensors is arranged in a portrait format, wherein an aspect ratio of the field of view of each of the second plurality of image sensors is arranged in a landscape format.
Beispiel 11: Ein Kameraträgersystem, umfassend: eine erste Stufe der Bildsensoren, die eine erste Vielzahl von Bildsensoren beinhaltet, die innerhalb einer ersten Ebene angeordnet sind, wobei die erste Vielzahl von Bildsensoren so konfiguriert ist, dass sich ein Sichtfeld von mindestens jedem der drei benachbarten Bildsensoren aus der ersten Vielzahl von Bildsensoren überlappt; und eine zweite Stufe von Bildsensoren, die eine zweite Vielzahl von Bildsensoren beinhaltet, die innerhalb einer zweiten Ebene angeordnet sind, wobei die zweite Vielzahl von Bildsensoren jeweils eine Seitenverhältnisausrichtung aufweist, die sich von einer Seitenverhältnisausrichtung jedes der ersten Vielzahl von Bildsensoren unterscheidet. Example 11: A camera support system comprising: a first stage of the image sensors including a first plurality of image sensors disposed within a first plane, the first plurality of image sensors configured to have a field of view from at least each of the three adjacent ones Image sensors from the first plurality of image sensors overlap; and a second stage of image sensors including a second plurality of image sensors disposed within a second plane, the second plurality of image sensors each having an aspect ratio orientation different from an aspect ratio orientation of each of the first plurality of image sensors.
Beispiel 12: Kameraträgersystem nach Beispiel 11, wobei die erste Ebene parallel zur zweiten Ebene angeordnet ist. Example 12: Camera carrier system according to Example 11, wherein the first plane is arranged parallel to the second plane.
Beispiel 13: Kameraträgersystem nach einem der Beispiele 11 oder 12, ferner umfassend: ein Schaftgehäuse, wobei die erste Stufe der Bildsensoren zwischen der zweiten Stufe der Bildsensoren und dem Schaftgehäuse angeordnet ist. Example 13: The camera carrier system of any one of Examples 11 or 12, further comprising: a shaft housing, wherein the first stage of the image sensors is disposed between the second stage of the image sensors and the shaft housing.
Beispiel 14: Kameraträgersystem nach einem der Beispiele 1 bis 10 oder 11 bis 13, wobei ein Verhältnis der Bildsensoren der ersten Ebene der Bildsensoren zu den Bildsensoren der zweiten Ebene der Bildsensoren zwischen 2:1 und 3:1 beträgt. Example 14: The camera carrier system according to any one of Examples 1 to 10 or 11 to 13, wherein a ratio of the image sensors of the first level of the image sensors to the image sensors of the second level of the image sensors is between 2: 1 and 3: 1.
Beispiel 15: Kameraträgersystem nach einem der Beispiele 1 bis 10 oder 11 bis 14, wobei Bilder, die mithilfe der ersten Ebene der Bildsensoren und der zweiten Ebene der Bildsensoren aufgenommen werden, mithilfe optischer Flussinterpolation zusammengesetzt werden. Example 15: A camera carrier system according to any one of Examples 1 to 10 or 11 to 14, wherein images captured by the first level of the image sensors and the second level of the image sensors are synthesized using optical flow interpolation.
Beispiel 16: Ein Kameraträgersystem, umfassend: ein Kameragehäuse, beinhaltend: einen unteren kreisförmigen Umfang und eine obere mehrflächige Kappe, wobei der untere kreisförmige Umfang unter der mehrflächigen Kappe angeordnet ist; eine erste Vielzahl von Bildsensoren, die in einer Kreisform und entlang des unteren kreisförmigen Umfangs des Kameragehäuses angeordnet sind, sodass die jeweilige erste Vielzahl von Bildsensoren eine Projektionsnormale nach außen zum unteren kreisförmigen Umfang aufweist; und eine zweite Vielzahl von Bildsensoren, die jeweils an einer Stirnfläche der oberen mehrflächigen Kappa angeordnet ist, sodass die jeweilige zweite Vielzahl von Bildsensoren eine Projektion nach außen nicht parallel zur Normalen des unteren kreisförmigen Umfangs aufweist. Example 16: A camera support system comprising: a camera body including: a lower circular periphery and an upper multi-surface cap, the lower circular periphery being disposed below the multi-surface cap; a first plurality of image sensors arranged in a circular shape and along the lower circular periphery of the camera body so that the respective first plurality of image sensors have a projection normal outward toward the lower circular periphery; and a second plurality of image sensors each disposed on an end surface of the upper multi-surface kappa such that the respective second plurality of image sensors have an outward projection not parallel to the normal of the lower circular periphery.
Beispiel 17: Kameraträgersystem nach Beispiel 16, wobei der untere kreisförmige Umfang einen solchen Radius aufweist, dass sich ein Sichtfeld von mindestens drei benachbarten Sensoren aus der ersten Vielzahl von Bildsensoren überschneidet. Example 17: The camera support system of Example 16, wherein the lower circular perimeter has a radius such that a field of view of at least three adjacent sensors from the first plurality of image sensors intersects.
Beispiel 18: Kameraträgersystem nach Beispiel 16 oder 17, wobei ein Verhältnis der Bildsensoren der ersten Vielzahl von Bildsensoren zu den Bildsensoren der zweiten Vielzahl von Bildsensoren zwischen 2:1 und 3:1 beträgt. Example 18: The camera carrier system according to Example 16 or 17, wherein a ratio of the image sensors of the first plurality of image sensors to the image sensors of the second plurality of image sensors is between 2: 1 and 3: 1.
Außerdem erfordern die in den Figuren dargestellten logischen Abläufe nicht die bestimmte dargestellte Reihenfolge oder sequenzielle Reihenfolge, um wünschenswerte Ergebnisse zu erzielen. Darüber hinaus können andere Schritte vorgesehen oder Schritte aus den beschriebenen Abläufen eliminiert werden, während andere Komponenten zu den beschriebenen Systemen hinzugefügt oder aus denselben entfernt werden können. Dementsprechend befinden sich andere Ausführungsformen innerhalb des Umfangs der folgenden Ansprüche. In addition, the logical flows shown in the figures do not require the particular order or sequential order shown to achieve desirable results. In addition, other steps may be provided or steps eliminated from the described procedures, while other components may be added to or removed from the described systems. Accordingly, other embodiments are within the scope of the following claims.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte Nicht-PatentliteraturCited non-patent literature
-
Mehr Details sind offenbart in Anderson et al., „Jump: Virtual Reality Video“, ACM Transactions on Graphics (TOG), Proceedings of ACM SIGGRAPH Asia 2016, Band. 35, Ausgabe 6, Art. Nr. 198, November 2016 [0121] More details are disclosed in Anderson et al., "Jump: Virtual Reality Video", ACM Transactions on Graphics (TOG), Proceedings of ACM SIGGRAPH Asia 2016, Volume. 35, Issue 6, Art. No. 198, November 2016 [0121]