DE112020004810B4

DE112020004810B4 - Systeme und Verfahren zur Erfassung von Oberflächennormalen mit Polarisation

Info

Publication number: DE112020004810B4
Application number: DE112020004810.1T
Authority: DE
Inventors: Achuta Kadambi; Kartik Venkataraman; Supreeth Krishna RAO; Agastya KALRA
Original assignee: Boston Polarimetrics Inc
Current assignee: Intrinsic Innovation Mountain View Us LLC
Priority date: 2019-10-07
Filing date: 2020-10-07
Publication date: 2023-10-26
Anticipated expiration: 2040-10-08
Also published as: US11982775B2; BR112022006602A2; DE112020004810T5; US12099148B2; US20230184912A1; EP4042366A1; US20220307819A1; WO2021071992A1; US20210356572A1; EP4042101A1; KR102538645B1; DE112020004813T5; US11525906B2; CN114766003B; JP2022552833A; CN114766003A; CA3157194A1; JP2022546627A; CA3157197A1; MX2022004162A

Abstract

Ein Verfahren zum Durchführen von Oberflächenprofilometrie, wobei das Verfahren umfasst:Empfangen (1102) von einem oder mehreren Polarisationsrohbildern (18) einer gedruckten Schicht eines physikalischen Objekts (1006), das additiv hergestellt wird, wobei das eine oder die mehreren Polarisationsrohbilder (18) bei verschiedenen Polarisationen durch eine oder mehrere Polarisationskameras (10, 10A'-10D') erfasst wurden;Extrahieren (1104) einer oder mehrerer Polarisationsmerkmalskarten in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern (18);Erhalten (1106) einer Grobschichttiefenkarte der gedruckten Schicht;Erzeugen (1108) eines oder mehrerer Oberflächennormalen-Bilder basierend auf der Grobschichttiefenkarte und der einen oder mehreren Polarisationsmerkmalskarten; undErzeugen (1110) einer 3D-Rekonstruktion der gedruckten Schicht basierend auf dem einen oder den mehreren Oberflächennormalen-Bildern,wobei die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen umfassen:ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; undein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG(EN)
Diese Anmeldung beansprucht die Priorität und die Vorteile der vorläufigen US-Patentanmeldung Nr. 62/911,952 , die am 7. Oktober, 2019 beim US-Patent- und Markenamt eingereicht wurde, der vorläufigen US-Patentanmeldung Nr. 62/942,113 , die am 30. November, 2019 beim US-Patent- und Markenamt eingereicht wurde, und der vorläufigen US-Patentanmeldung Nr. 63/001,445 , die am 29. März 2020 beim US-Patent- und Markenamt eingereicht wurde.
GEBIET
Aspekte von Ausführungsformen der vorliegenden Offenbarung sind im Allgemeinen bezogen auf Bildsensor- und Verarbeitungssysteme und Verfahren zu deren Verwendung.
HINTERGRUND
Sensorsysteme und bildgebende Systeme wie Radar, Lidar, Kameras (z. B. sichtbares Licht und/oder Infrarot) und dergleichen erfassen Objekte und Merkmale in der Umgebung durch die Wechselwirkung von elektromagnetischer Strahlung mit der Umgebung. Beispielsweise erfassen Kamerasysteme und Lidarsysteme Licht, das von Objekten in einer Szene oder in der Umgebung reflektiert wird. Ebenso senden Radarsysteme elektromagnetische Wellen mit niedrigeren Frequenzen (z. B. Radio- oder Mikrowellenfrequenzen) aus und bestimmen die Eigenschaften der Objekte basierend auf den Reflektionen dieser Signale. Andere Sensorsysteme können andere Formen von Strahlung verwenden, z. B. Druckwellen oder Schallwellen im Falle der Ultraschallbildgebung.
Die obigen Informationen, die in diesem Abschnitt „Hintergrund“ offenbart werden, dienen nur dem besseren Verständnis der vorliegenden Offenbarung und können daher Informationen enthalten, die nicht zu dem Stand der Technik gehören, der einem Fachmann bereits bekannt ist.
US 2019/0186901 A1 offenbart ein 3D-Abbildungssystem, das einen Tiefensensor verwendet, um eine grobe Tiefenkarte zu erstellen, und dann die grobe Tiefenkarte verwendet, um mehrdeutige Oberflächennormalen zu korrigieren, die aus Polarisationsmerkmalen berechnet werden.
US 2019/0143412 A1 schlägt ein 3D-Druckverfahren mit einer Steuerung vor, die die Verformung mindestens eines Teils eines 3D-Objekts regelt, vorzugsweise in Echtzeit während des 3D-Druckverfahrens.
US 2016/0344948 A1 offenbart ein Verfahren zur zumindest bereichsweisen Bestimmung einer Kontur mindestens einer additiv gefertigten Bauteilschicht.
CN 1 11 402 395 A schlägt ein passives Verfahren zur dreidimensionalen Polarisationsrekonstruktion auf der Grundlage der CNN-Korrektur vor.
ZUSAMMENFASSUNG
Die Erfindung ist in den unabhängigen Ansprüchen definiert. Besondere Ausführungsformen sind in den abhängigen Ansprüchen aufgeführt.
Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf Systeme und Verfahren zur Erweiterung von Sensorsystemen und Bildgebungssystemen unter Verwendung von Polarisation. Gemäß einigen Aspekten von Ausführungsformen der vorliegenden Offenbarung werden Sensoren, die konfiguriert sind, um die Polarisation von empfangener elektromagnetischer Strahlung zu erfassen, verwendet, um die Leistung oder das Verhalten anderer Bildgebungsmodalitäten zu erweitern, wie z. B. Kameras, die konfiguriert sind, um die Intensität von Licht ohne Berücksichtigung der Polarisation des Lichts zu erfassen. In einigen Aspekten von Ausführungsformen der vorliegenden Offenbarung werden Sensoren, die konfiguriert sind, um die Polarisation der empfangenen elektromagnetischen Strahlung zu erfassen, verwendet, um Bilder zu erzeugen, die andernfalls mit vergleichbaren Bildgebungssystemen wie Digitalkameras erzeugt werden würden. Einige Aspekte der Ausführungsformen der vorliegenden Offenbarung beziehen sich auf Kamerasysteme, die konfiguriert sind, um die Polarisation von Licht zu erfassen.
Erfindungsgemäß ist ein Verfahren zum Durchführen von Oberflächenprofilometrie bereitgestellt, wobei das Verfahren umfasst: Empfangen von einem oder mehreren Polarisationsrohbildern einer gedruckten Schicht eines physikalischen Objekts, das additiv hergestellt wird, wobei das eine oder die mehreren Polarisationsrohbilder bei verschiedenen Polarisationen durch eine oder mehrere Polarisationskameras erfasst wurden; Extrahieren einer oder mehrerer Polarisationsmerkmalskarten in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern; Erhalten einer Grobschichttiefenkarte der gedruckten Schicht; Erzeugen eines oder mehrerer Oberflächennormalen-Bilder basierend auf der Grobschichttiefenkarte und der einen oder mehreren Polarisationsmerkmalskarten; und Erzeugen einer 3D-Rekonstruktion der gedruckten Schicht basierend auf dem einen oder den mehreren Oberflächennormalen-Bildern.
Erfindungsgemäß umfassen die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
In einigen Ausführungsformen umfassen die eine oder mehreren Polarisationskameras: eine erste Polarisationskamera, die konfiguriert ist, einen ersten Teilbereich eines Druckbetts zu erfassen, auf dem sich die gedruckte Schicht des physischen Objekts befindet; und eine zweite Polarisationskamera, die sich in einem Abstand von der ersten Polarisationskamera befindet und konfiguriert ist, um einen zweiten Teilbereich des Druckbetts zu erfassen.
In einigen Ausführungsformen umfasst das Erhalten der Grobschichttiefenkarte der gedruckten Schicht: Konstruieren der Grobschichttiefenkarte basierend auf einer Parallaxenverschiebung zwischen Polarisationsrohbildern, die von der ersten und zweiten Polarisationskamera erfasst wurden.
In einigen Ausführungsformen umfasst das Erhalten der Grobschichttiefenkarte der gedruckten Schicht: Empfangen eines CAD-Schichtenmodells, das der gedruckten Schicht des physischen Objekts entspricht.
In einigen Ausführungsformen umfasst das Erzeugen des einen oder der mehreren Oberflächennormalen-Bilder: Bestimmen einer Pose der gedruckten Schicht in Bezug auf jede der einen oder mehreren Polarisationskameras; Transformieren der Grobschichttiefenkarte in einen oder mehrere Kameraräume, der bzw. die dem einen oder den mehreren Polarisationskameras entspricht bzw. entsprechen, um eine oder mehrere transformierte Grobschichttiefenkarten zu erzeugen; und Korrigieren des einen oder der mehreren Oberflächennormalen-Bilder basierend auf der einen oder den mehreren transformierten Grobschichttiefenkarten.
In einigen Ausführungsformen umfasst das Erzeugen der 3D-Rekonstruktion der gedruckten Schicht: Integrieren der Oberflächennormalen des einen oder der mehreren Oberflächennormalen-Bilder über einen Probenraum, um eine Form einer Oberfläche der gedruckten Schicht zu bestimmen.
Erfindungsgemäß ist ein Oberflächenprofilometriesystem bereitgestellt, das umfasst: eine oder mehrere Polarisationskameras mit einem Polarisationsfilter, wobei die eine oder mehreren Polarisationskameras konfiguriert sind, um Polarisationsrohbilder bei verschiedenen Polarisationen zu erfassen; und ein Verarbeitungssystem mit einem Prozessor und einem Speicher, der Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, Folgendes durchzuführen: Empfangen eines oder mehrerer Polarisationsrohbilder einer gedruckten Schicht eines physikalischen Objekts, das additiv hergestellt wird, wobei das eine oder die mehreren Polarisationsrohbilder mit unterschiedlichen Polarisationen von der einen oder den mehreren Polarisationskameras erfasst wurden; Extrahieren einer oder mehrerer Polarisationsmerkmalskarten in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern; Erhalten einer Grobschichttiefenkarte der gedruckten Schicht; Erzeugen eines oder mehrerer Oberflächennormalen-Bilder basierend auf der Grobschichttiefenkarte und der einen oder mehreren Polarisationsmerkmalskarten; und Erzeugen einer 3D-Rekonstruktion der gedruckten Schicht basierend auf dem einen oder den mehreren Oberflächennormalen-Bildem.
Erfindungsgemäß umfassen die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
In einigen Ausführungsformen umfassen die eine oder mehrere Polarisationskameras: eine erste Polarisationskamera, die konfiguriert ist, um einen ersten Teilbereich eines Druckbetts zu erfassen, auf dem sich die gedruckte Schicht des physischen Objekts befindet; und eine zweite Polarisationskamera, die sich in einem Abstand von der ersten Polarisationskamera befindet und konfiguriert ist, um einen zweiten Teilbereich des Druckbetts zu erfassen.
In einigen Ausführungsformen umfasst das Ermitteln der Grobschichttiefenkarte der gedruckten Schicht: Konstruieren der Grobschichttiefenkarte basierend auf einer Parallaxenverschiebung zwischen Polarisationsrohbildern, die von der ersten und zweiten Polarisationskamera erfasst wurden.
In einigen Ausführungsformen umfasst das Erhalten der Grobschichttiefenkarte der gedruckten Schicht umfasst: Empfangen eines CAD-Schichtenmodells, das der gedruckten Schicht des physischen Objekts entspricht.
In einigen Ausführungsformen umfasst das Erzeugen des einen oder der mehreren Oberflächennormalen-Bilder umfasst: Bestimmen einer Pose der gedruckten Schicht in Bezug auf jede der einen oder mehreren Polarisationskameras; Transformieren der Grobschichttiefenkarte in einen oder mehrere Kameraräume, der bzw. die dem einen oder mehreren Polarisationskameras entspricht bzw. entsprechen, um eine oder mehrere transformierte Grobschichttiefenkarten zu erzeugen; und Korrigieren des einen oder der mehreren Oberflächennormalen-Bilder basierend auf der einen oder den mehreren transformierten Grobschichttiefenkarten.
In einigen Ausführungsformen umfasst das Erzeugen der 3D-Rekonstruktion der gedruckten Schicht Folgendes: Integrieren der Oberflächennormalen des einen oder der mehreren Oberflächennormalen-Bilder über einen Probenraum, um eine Form einer Oberfläche der gedruckten Schicht zu bestimmen.
In einigen Ausführungsformen speichert der Speicher weiterhin Anweisungen, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, weiterhin auszuführen: Bereitstellen der 3D-Rekonstruktion der gedruckten Schicht an ein 3D-Drucksystem als Steuerungsfeedback, wobei das 3D-Drucksystem konfiguriert ist, um das physische Objekt Schicht für Schicht additiv herzustellen.
In einigen Ausführungsformen die Operationen der einen oder mehreren Polarisationskameras, des Verarbeitungssystems und des 3D-Drucksystems über ein Synchronisationssignal synchronisiert werden.
Erfindungsgemäß ist ein Verfahren zum Erfassen eines 3D-Bildes eines Gesichts bereitgestellt, wobei das Verfahren umfasst: Empfangen von einem oder mehreren Polarisationsrohbildern des Gesichts, wobei das eine oder die mehreren Polarisationsrohbilder bei unterschiedlichen Polarisationen durch eine Polarisationskamera in einem Abstand von dem Gesicht erfasst wurden; Extrahieren einer oder mehrerer Polarisationsmerkmalskarten in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern; und Erzeugen einer 3D-Rekonstruktion des Gesichts basierend auf der einen oder den mehreren Polarisationsmerkmalskarten über ein neuronales Netz zur Gesichtsrekonstruktion.
In einigen Ausführungsformen umfassen die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
In einigen Ausführungsformen umfassen die eine oder die mehreren Polarisationsmerkmalskarten geschätzte Oberflächennormalen, und wobei das Extrahieren der einen oder mehreren Polarisationsmerkmalskarten umfasst: Erzeugen der geschätzten Oberflächennormalen basierend auf dem einen oder den mehreren Polarisationsrohbildern.
In einigen Ausführungsformen ist das neuronale Netz zur Gesichtsrekonstruktion trainiert, um korrigierte Oberflächennormalen basierend auf den geschätzten Oberflächennormalen zu berechnen und um die 3D-Rekonstruktion des Gesichts basierend auf den korrigierten Oberflächennormalen zu erzeugen.
In einigen Ausführungsformen umfasst das neuronale Netz zur Gesichtsrekonstruktion ein trainiertes polarisiertes faltendes neuronales Netz (CNN).
Erfindungsgemäß ist ein 3D-Bildgebungssystem zum Erfassen eines 3D-Bildes eines Gesichts bereitgestellt, wobei das 3D-Bildgebungssystem umfasst: eine Polarisationskamera, die einen Polarisationsfilter umfasst und konfiguriert ist, um ein oder mehrere Polarisationsrohbilder bei verschiedenen Polarisationen zu erfassen; und ein Verarbeitungssystem mit einem Prozessor und einem Speicher, der Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, Folgendes durchzuführen: Empfangen von einem oder mehreren Polarisationsrohbildern des Gesichts, wobei das eine oder die mehreren Polarisationsrohbilder bei unterschiedlichen Polarisationen von der Polarisationskamera erfasst wurden; Extrahieren einer oder mehrerer Polarisationsmerkmalskarten in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern; und Erzeugen einer 3D-Rekonstruktion des Gesichts basierend auf der einen oder den mehreren Polarisationsmerkmalskarten über ein neuronales Gesichtsrekonstruktionsnetz.
In einigen Ausführungsformen umfassen die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen Folgendes: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
In einigen Ausführungsformen umfassen die eine oder die mehreren Polarisationsmerkmalskarten geschätzte Oberflächennormalen, und wobei das Extrahieren der einen oder mehreren Polarisationsmerkmalskarten umfasst: Erzeugen der geschätzten Oberflächennormalen basierend auf dem einen oder den mehreren Polarisationsrohbildern.
In einigen Ausführungsformen umfassen ist das neuronale Netz zur Gesichtsrekonstruktion trainiert, um korrigierte Oberflächennormalen basierend auf den geschätzten Oberflächennormalen zu berechnen und die 3D-Rekonstruktion des Gesichts basierend auf den korrigierten Oberflächennormalen zu erzeugen.
In einigen Ausführungsformen umfasst das neuronale Netz zur Gesichtsrekonstruktion ein trainiertes polarisiertes faltendes neuronales Netz (CNN).
Erfindungsgemäß ist ein Verfahren zum Erfassen eines 3D-Bildes eines Gesichts bereitgestellt, wobei das Verfahren umfasst: Empfangen von einem oder mehreren Polarisationsrohbildern des Gesichts, wobei das eine oder die mehreren Polarisationsrohbilder bei unterschiedlichen Polarisationen durch eine Polarisationskamera erfasst wurden; Extrahieren von geschätzten Polarisationsmerkmalen aus dem einen oder den mehreren Polarisationsrohbildern; Erzeugen von geschätzten Oberflächennormalen basierend auf den geschätzten Polarisationsmerkmalen, Erzeugen einer anfänglichen Grobtiefenkarte des Gesichts; Verfeinern der geschätzten Polarisationsmerkmale und der anfänglichen Grobtiefenkarte, um verfeinerte Polarisationsmerkmale und eine verfeinerte Tiefenkarte zu erzeugen; Erzeugen korrigierter Oberflächennormalen basierend auf den verfeinerten Polarisationsmerkmalen und der verfeinerten Tiefenkarte; und Erzeugen einer 3D-Rekonstruktion des Gesichts basierend auf den korrigierten Oberflächennormalen.
In einigen Ausführungsformen umfasst das Erzeugen der anfänglichen Grobtiefenkarte des Gesichts: Empfangen eines 2D-Farbbildes des Gesichtes; und Berechnen der anfänglichen Grobtiefenkarte basierend auf dem 2D-Farbbild des Gesichts.
In einigen Ausführungsformen umfasst das Erzeugen der anfänglichen Grobtiefenkarte des Gesichts: Empfangen eines 3D-Modells eines generischen menschlichen Gesichts; und Erzeugen der anfänglichen Grobtiefenkarte basierend auf dem 3D-Modell des generischen menschlichen Gesichts.
In einigen Ausführungsformen umfasst das Verfahren ferner: Bereitstellen der geschätzten Oberflächennormalen und der korrigierten Oberflächennormalen für ein neuronales Netz zur Gesichtsrekonstruktion als einen Satz von Trainingsdaten.
Gemäß einiger Ausführungsformen der vorliegenden Erfindung ist ein Verfahren zum Berechnen einer Vorhersage bereitgestellt, wobei das Verfahren umfasst: Empfangen eines Oberflächennormalen-Bildes, das einem Objekt entspricht, wobei das Oberflächennormalen-Bild Oberflächennormalen-Informationen für jedes Pixel des Bildes umfasst; und Berechnen der Vorhersage basierend auf dem Oberflächennormalen-Bild.
In einigen Ausführungsformen kodieren ein roter Farbwert, ein grüner Farbwert und blaue Farbwerte eines Pixels des Oberflächennormalen-Bildes eine x-Achsenkomponente, eine y-Achsenkomponente und eine z-Achsenkomponente einer Oberflächennormalen des Objekts an dem Pixel.
In einigen Ausführungsformen die roten, grünen und blauen Farbwerte des Pixels jeweils die x-Achsen-Komponente, die y-Achsen-Komponente und die z-Achsen-Komponente der Oberflächennormalen des Objekts an dem Pixel sind.
In einigen Ausführungsformen ist die Vorhersage ein Wahrscheinlichkeitsvektor, wobei das Berechnen der Vorhersage das Liefern des Oberflächennormalen-Bildes an einen trainierten Klassifikator umfasst, und wobei der trainierte Klassifikator konfiguriert ist, um Bildcharakteristiken des Oberflächennormalen-Bildes zu identifizieren und den Wahrscheinlichkeitsvektor auszugeben, wobei jedes Element des Wahrscheinlichkeitsvektors ein Wahrscheinlichkeitswert ist, der einer der möglichen Bildcharakteristiken entspricht.
In einigen Ausführungsformen umfasst der trainierte Klassifikator eine Vielzahl von statistischen Modellen, die den möglichen Bildcharakteristiken entsprechen.
In einigen Ausführungsformen umfassen die Bildcharakteristiken Gesichtsausdrücke oder Objekttypen.
In einigen Ausführungsformen umfasst das Objekt ein Fahrzeug, ein Gesicht oder einen Körper.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die beigefügten Zeichnungen veranschaulichen zusammen mit der Beschreibung Beispielausführungsformen der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der vorliegenden Offenbarung.

1A ist ein schematisches Blockdiagramm eines Systems, das eine Polarisationskamera verwendet gemäß einigen Ausführungsformen der vorliegenden Erfindung.
1B ist eine perspektivische Ansicht eines Polarisationskameramoduls gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
1C ist eine Querschnittsansicht eines Teils eines Polarisationskameramoduls gemäß einer Ausführungsform der vorliegenden Offenbarung.
1D ist eine perspektivische Ansicht eines Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung.
2A, 2B, 2C und 2D stellen den Hintergrund zur Veranschaulichung der Segmentierungskarten bereit, die durch einen vergleichenden Ansatz und semantische Segmentierung oder Instanzsegmentierung basierend auf Polarisationsrohbildern gemäß Aspekten von Ausführungsformen der vorliegenden Offenbarung berechnet wurden.
3 ist eine übersichtliche Darstellung der Interaktion von Licht mit transparenten und nicht transparenten Objekten.
4 ist ein Flussdiagramm eines Verfahrens zum Schätzen von Polarisationsmerkmalen bei Parallaxenmehrdeutigkeit gemäß einer Ausführungsform der vorliegenden Offenbarung.
5A ist eine perspektivische Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung.
5B ist eine Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung entlang einer Richtung parallel zur optischen Achse des multispektralen Stereo-Polarisationskamerasystems.
5C zeigt geschnittene Seitenansichten von beispielhaften einzelnen Polarisationskameras eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung.
6A ist ein Blockdiagramm der Verarbeitungsschaltung 100 zum Berechnen von Oberflächencharakterisierungsausgaben basierend auf Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung.
6B ist ein Flussdiagramm eines Verfahrens 600 zum Durchführen einer Oberflächencharakterisierung basierend auf Eingangsbildern zum Berechnen einer Oberflächencharakterisierungsausgabe gemäß einer Ausführungsform der vorliegenden Erfindung.
7A ist ein Blockdiagramm eines Merkmalsextraktors 700 gemäß einer Ausführungsform der vorliegenden Erfindung.
7B ist ein Flussdiagramm, das ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung zur Extraktion von Merkmalen aus Polarisationsrohbildern darstellt.
8A ist eine Illustration einer griechischen Büstenstatue, die von einer beispielhaften Implementierung der in dieser Erfindung vorgeschlagenen Bildgebungseinrichtung gescannt wird.
8B ist ein Flussdiagramm eines Verfahrens zur 3D-Oberflächenrekonstruktion mittels Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
9A ist eine Illustration einer flachen Oberfläche mit dem Brechungsindex n, die von einer beispielhaften Implementierung der Bildgebungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung abgetastet wird.
9B ist ein Flussdiagramm eines Verfahrens zur 3D-Oberflächenrekonstruktion von flachen oder geometrisch einfachen Oberflächen unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
10A ist ein Blockdiagramm von verschiedenen Komponenten des Oberflächenprofilometriesystem gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
10B ist ein schematisches Diagramm zur Veranschaulichung der räumlichen Beziehung zwischen dem einen oder mehreren Polarisationskameramodulen des Oberflächenprofilometriesystems und dem Druckbett gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
10C ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Erweitern eines aktiven Abtastsystems unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
11A veranschaulicht das 3D-Bildgebungssystem, das ein neuronales Netz für die 3D-Rekonstruktion verwendet, gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
11B veranschaulicht das 3D-Bildgebungssystem, das eine Grobtiefenkarte für die 3D-Rekonstruktion verwendet, gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
12 ist ein Blockdiagramm eines Prädiktors gemäß einer Ausführungsform der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG
Die nachstehende detaillierte Beschreibung ist als Beschreibung von Beispielen für ein System und ein Verfahren zur 3D-Bildgebung und -Verarbeitung unter Verwendung von Lichtpolarisation gedacht, die in Übereinstimmung mit der vorliegenden Offenbarung bereitgestellt werden, und soll nicht die einzigen Formen darstellen, in denen die vorliegende Offenbarung konstruiert oder verwendet werden kann. In der Beschreibung werden die Merkmale der vorliegenden Offenbarung in Verbindung mit den dargestellten Ausführungsformen dargelegt. Es versteht sich jedoch von selbst, dass dieselben oder gleichwertige Funktionen und Strukturen auch durch andere Ausführungsformen erreicht werden können, die ebenfalls in den Anwendungsbereich der Offenbarung fallen sollen. Wie an anderer Stelle in diesem Dokument angegeben, sollen gleiche Elementnummern auf gleiche Elemente oder Merkmale hinweisen.
1A ist ein schematisches Blockdiagramm eines Systems, das ein Polarisationskamerasystem gemäß einigen Ausführungsformen der vorliegenden Erfindung verwendet. In der in 1A gezeigten Anordnung enthält eine Szene 1 transparente Objekte 2 (z. B. eine Kugel wie eine Glasmurmel, einen Zylinder wie ein Trinkglas oder einen Becher und eine Ebene wie eine Scheibe aus transparentem Acryl), die vor undurchsichtigen matten Objekten 3 (z. B. einem Baseball und einem Tennisball) angeordnet sind. Eine Polarisationskamera 10 hat ein Objektiv 12 mit einem Sichtfeld, wobei das Objektiv 12 und die Kamera 10 so ausgerichtet sind, dass das Sichtfeld die Szene 1 umfasst. Das Objektiv 12 ist konfiguriert, um Licht (z. B. fokussiertes Licht) von der Szene 1 auf ein lichtempfindliches Medium wie einen Bildsensor 14 (z. B. einen CMOS-Bildsensor (Complementary Metal Oxide Semiconductor) oder einen CCD-Bildsensor (Charge-Coupled Device)) zu richten.
Die Polarisationskamera 10 umfasst ferner einen Polarisator oder einen Polarisationsfilter oder eine Polarisationsmaske 16, die im optischen Pfad zwischen der Szene 1 und dem Bildsensor 14 angeordnet ist. Gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist der Polarisator oder die Polarisationsmaske 16 konfiguriert, um die Polarisationskamera 10 zu befähigen, Bilder der Szene 1 zu erfassen, wobei der Polarisator in verschiedenen spezifizierten Winkeln eingestellt ist (z. B. bei 45°-Drehungen oder bei 60°-Drehungen oder bei ungleichmäßig beabstandeten Drehungen).
Als ein Beispiel zeigt 1A eine Ausführungsform, bei der die Polarisationsmaske 16 ein Polarisationsmosaik ist, das mit dem Pixelraster des Bildsensors 14 in einer Weise ausgerichtet ist, die einem Rot-Grün-Blau (RGB)-Farbfilter (z. B. einem Bayer-Filter) einer Farbkamera ähnelt. Ähnlich wie ein Farbfilter-Mosaik filtert eintreffendes Licht basierend auf der Wellenlänge, so dass jedes Pixel im Bildsensor 14 Licht in einem bestimmten Bereich des Spektrums (z. B., Rot, Grün oder Blau) entsprechend dem Muster der Farbfilter des Mosaiks empfängt, filtert eine Polarisationsmaske 16, die ein Polarisationsmosaik verwendet, Licht basierend auf der linearen Polarisation, so dass verschiedene Pixel Licht in verschiedenen Winkeln der linearen Polarisation empfangen (z. B. bei 0°, 45°, 90° und 135° oder bei 0°, 60° und 120°). Dementsprechend kann die Polarisationskamera 10 mit einer Polarisationsmaske 16, wie sie in 1A dargestellt ist, gleichzeitig Licht mit vier verschiedenen linearen Polarisationen erfassen. Ein Beispiel für eine Polarisationskamera ist die Blackfly® S Polarisationskamera der Firma FLIR® Systems, Inc. aus Wilsonville, Oregon.
Während sich die obige Beschreibung auf einige mögliche Implementierungen einer Polarisationskamera mit einem Polarisationsmosaik bezieht, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und umfassen andere Arten von Polarisationskameras, die in der Lage sind, Bilder mit mehreren verschiedenen Polarisationen zu erfassen. Beispielsweise kann die Polarisationsmaske 16 weniger als vier Polarisationen oder mehr als vier verschiedene Polarisationen aufweisen, oder sie kann Polarisationen in anderen Winkeln als den oben genannten aufweisen (z. B. in Polarisationswinkeln von: 0°, 60° und 120° oder bei Polarisationswinkeln von 0°, 30°, 60°, 90°, 120° und 150°). Als weiteres Beispiel kann die Polarisationsmaske 16 unter Verwendung einer elektronisch gesteuerten Polarisationsmaske, wie z. B. einem elektrooptischen Modulator (der z. B. eine Flüssigkristallschicht enthalten kann), implementiert werden, wobei die Polarisationswinkel der einzelnen Pixel der Maske unabhängig voneinander gesteuert werden können, so dass verschiedene Bereiche des Bildsensors 14 Licht mit unterschiedlichen Polarisationen empfangen. Als weiteres Beispiel kann der elektrooptische Modulator konfiguriert sein, um Licht verschiedener linearer Polarisationen zu transmittieren, wenn verschiedene Bilder aufgenommen werden, z. B. so dass die Kamera Bilder aufnimmt, bei denen die Gesamtheit der Polarisationsmaske nacheinander auf verschiedene lineare Polarisationswinkel eingestellt ist (z. B. nacheinander eingestellt auf: 0 Grad; 45 Grad; 90 Grad; oder 135 Grad). Als weiteres Beispiel kann die Polarisationsmaske 16 einen Polarisationsfilter enthalten, der sich mechanisch dreht, so dass unterschiedliche Polarisationsrohbilder von der Polarisationskamera 10 erfasst werden, wenn der Polarisationsfilter mechanisch in Bezug auf das Objektiv 12 gedreht wird, um Licht mit unterschiedlichen Polarisationswinkeln zum Bildsensor 14 zu transmittieren. Während sich die obigen Beispiele auf die Verwendung eines linearen Polarisationsfilters beziehen, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und umfassen auch die Verwendung von Polarisationskameras, die zirkulare Polarisationsfilter enthalten (z. B. lineare Polarisationsfilter mit einer Viertelwellenplatte). Dementsprechend verwendet eine Polarisationskamera in einigen Ausführungsformen der vorliegenden Offenbarung einen Polarisationsfilter, um mehrere Polarisationsrohbilder bei verschiedenen Polarisationen des Lichts zu erfassen, wie z. B. verschiedene lineare Polarisationswinkel und verschiedene zirkulare Polarisationen (z. B. die Händigkeit).
Folglich erfasst die Polarisationskamera 10 mehrere Eingangsbilder 18 (oder Polarisationsrohbilder) der Szene einschließlich der zu prüfenden Oberfläche 2 des zu prüfenden Objekts 1 (auch als beobachtetes Objekt bezeichnet). In einigen Ausführungsformen entspricht jedes der Polarisationsrohbilder 18 einem Bild, das hinter einem Polarisationsfilter oder Polarisator unter einem anderen Polarisationswinkel ϕ_pol (z. B. 0 Grad, 45 Grad, 90 Grad oder 135 Grad) aufgenommen wurde. Jedes der Polarisations-Rohbilder 18 wird im Wesentlichen aus der gleichen Pose in Bezug auf die Szene 1 aufgenommen (z. B. werden die Bilder, die mit dem Polarisationsfilter bei 0 Grad, 45 Grad, 90 Grad oder 135 Grad aufgenommen werden, alle von derselben Polarisationskamera 100 aufgenommen, die sich am gleichen Ort und in der gleichen Ausrichtung befindet), im Gegensatz zur Aufnahme der Polarisationsrohbilder von unterschiedlichen Orten und Ausrichtungen in Bezug auf die Szene. Die Polarisationskamera 10 kann konfiguriert sein, um Licht in einer Vielzahl verschiedener Bereiche des elektromagnetischen Spektrums zu erfassen, wie beispielsweise den für den Menschen sichtbaren Bereich des elektromagnetischen Spektrums, rote, grüne und blaue Bereiche des für den Menschen sichtbaren Spektrums sowie unsichtbare Bereiche des elektromagnetischen Spektrums wie Infrarot und Ultraviolett.
In einigen Ausführungsformen der vorliegenden Offenbarung, wie z. B. in einigen der oben beschriebenen Ausführungsformen, werden die verschiedenen Polarisationsrohbilder von derselben Polarisationskamera 10 erfasst und können daher von im Wesentlichen derselben Pose (z. B. Position und Ausrichtung) in Bezug auf die Szene 1 erfasst werden. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht darauf beschränkt. Beispielsweise kann sich eine Polarisationskamera 10 in Bezug auf die Szene 1 zwischen verschiedenen Polarisationsrohbildern bewegen (z. B. wenn verschiedene Polarisationsrohbilder, die verschiedenen Polarisationswinkeln entsprechen, zu verschiedenen Zeiten aufgenommen werden, wie im Fall eines mechanisch rotierenden Polarisationsfilters), entweder weil sich die Polarisationskamera 10 bewegt hat oder weil sich die Objekte 3 bewegt haben (z. B. wenn sich das Objekt auf einem sich bewegenden Fördersystem befindet). In einigen Ausführungsformen nehmen verschiedene Polarisationskameras Bilder des Objekts zu verschiedenen Zeitpunkten auf, jedoch aus im Wesentlichen derselben Pose in Bezug auf das Objekt (z. B. verschiedene Kameras, die Bilder derselben Oberfläche des Objekts an verschiedenen Punkten des Fördersystems aufnehmen). Dementsprechend werden in einigen Ausführungsformen der vorliegenden Offenbarung verschiedene Polarisationsrohbilder mit der Polarisationskamera 10 in verschiedenen Posen oder der gleichen relativen Pose in Bezug auf die Objekte 2 und 3, die in der Szene 1 abgebildet werden, aufgenommen.
Die Polarisationsrohbilder 18 werden einer Verarbeitungsschaltung 100 zugeführt, die im Folgenden näher beschrieben wird und die eine Charakterisierungsausgabe 20 basierend auf den Polarisationsrohbildern 18 berechnet. In der in 1A gezeigten Ausführungsform ist die Charakterisierungsausgabe 20 eine Instanzsegmentierungskarte, die Instanzen verschiedener Objekte 2 und 3 identifiziert, die in der Szene 1 vorhanden sind.
1B ist eine perspektivische Ansicht eines Polarisationskameramoduls gemäß einigen Ausführungsformen der vorliegenden Offenbarung. 1C ist eine Querschnittsansicht eines Teils eines Polarisationskameramoduls gemäß einer Ausführungsform der vorliegenden Offenbarung.
Einige Aspekte der Ausführungsformen der vorliegenden Offenbarung beziehen sich auf ein Polarisationskameramodul, bei dem mehrere Polarisationskameras (z. B. mehrere Kameras, bei denen jede Kamera einen Polarisationsfilter in ihrem optischen Pfad hat) nebeneinander und in einem Array angeordnet sind und gesteuert werden können, um Bilder in einer Gruppe aufzunehmen (z. B. kann ein einziger Auslöser verwendet werden, um alle Kameras in dem System zu steuern, um Bilder gleichzeitig oder im Wesentlichen gleichzeitig aufzunehmen). Die Polarisationsfilter in den optischen Pfaden der einzelnen Kameras im Array bewirken, dass unterschiedlich polarisiertes Licht die Bildsensoren der Kameras erreicht. Die einzelnen Polarisationskameras im Kamerasystem haben optische Achsen, die im Wesentlichen senkrecht zueinander stehen, nebeneinander angeordnet sind (so, dass die Parallaxenverschiebung zwischen den Kameras im Wesentlichen vernachlässigbar ist, basierend auf dem geplanten Betriebsabstand des Kamerasystems zu Objekten in der Szene, wobei größere Abstände zwischen den Kameras toleriert werden können, wenn der geplante Betriebsabstand groß ist), und im Wesentlichen das gleiche Sichtfeld haben, so dass die Kameras im Kamerasystem im Wesentlichen die gleiche Ansicht einer Szene 1 erfassen, jedoch mit unterschiedlichen Polarisationen.
In der in 1B gezeigten Ausführungsform des Polarisationskameramoduls 10' sind beispielsweise vier Kameras 10A', 10B', 10C' und 10D' in einem 2x2-Raster angeordnet, um ein Kamera-Array oder Kamerasystem zu bilden, wobei die vier Kameras im Wesentlichen parallele optische Achsen haben. Die vier Kameras können gemeinsam gesteuert werden, so dass sie Bilder im Wesentlichen gleichzeitig und mit den gleichen Belichtungseinstellungen aufnehmen (z. B. gleiche Blende, Belichtungsdauer und Verstärkung oder „ISO“-Einstellungen). In verschiedenen Ausführungsformen der vorliegenden Offenbarung enthält jede der separaten Kameras 10A', 10B', 10C' und 10D' einen anderen Polarisationsfilter.
1C zeigt eine Querschnittsansicht von zwei der in 1B gezeigten Polarisationskameras 10A' und 10B'. Wie in 1C zu sehen ist, umfasst jedes Polarisationskamerasystem (10A' und 10B') ein entsprechendes Objektiv, einen entsprechenden Bildsensor und einen entsprechenden Polarisationsfilter. Insbesondere umfasst die Polarisationskamera 10A' das Objektiv 12A', den Bildsensor 14A' und den Polarisationsfilter 16A'. Ebenso umfasst die Polarisationskamera 10B' das Objektiv 12B', den Bildsensor 14B' und den Polarisationsfilter 16B'.
In einigen Ausführungsformen der vorliegenden Offenbarung hat jede der Kameras in dem Kamerasystem 10' einen entsprechenden Polarisationsfilter, der so konfiguriert ist, dass er unterschiedlich polarisiertes Licht filtert. Zum Beispiel in der Ausführungsform, die in 1B und 1C dargestellt ist, kann der Polarisationsfilter 16A' der Kamera 10A' ein linearer Polarisationsfilter sein, der in einem Winkel von 0° ausgerichtet ist, der Polarisationsfilter 16B' der Kamera 10B' kann ein linearer Polarisationsfilter sein, der in einem Winkel von 45° ausgerichtet ist, Polarisationsfilter 16C' der Kamera 10C' kann ein linearer Polarisationsfilter sein, der in einem Winkel von 90° ausgerichtet ist, und der Polarisationsfilter 16D' der Kamera 10D' kann ein linearer Polarisationsfilter sein, der in einem Winkel von 135° ausgerichtet ist. In einigen Ausführungsformen können eine oder mehrere der Kameras einen Zirkularpolarisator umfassen. In einigen Ausführungsformen der vorliegenden Offenbarung umfasst das Kamerasystem 10' Polarisationsfilter, die so konfiguriert sind, dass sie Licht in mindestens zwei verschiedenen Polarisationen filtern. In einigen Ausführungsformen der vorliegenden Offenbarung umfasst das Kamerasystem 10' Polarisationsfilter, die konfiguriert sind, um Licht in mindestens drei verschiedenen Polarisationen zu filtern.
Obwohl in 1C nicht dargestellt, kann in einigen Ausführungsformen der vorliegenden Offenbarung jede Polarisationskamera auch einen Farbfilter mit einem Mosaikmuster, wie z. B. einen Bayer-Filter, umfassen, so dass einzelne Pixel der Bildsensoren 14 Licht empfangen, das z. B. roten (R), grünen (G) und blauen (B) Bereichen des Spektrums entspricht, so dass jede Kamera Licht in einem sichtbaren Bereich des elektromagnetischen Spektrums in Übereinstimmung mit einem Mosaikmuster erfasst. In einigen Ausführungsformen wird ein Demosaikierungsprozess verwendet, um separate rote, grüne und blaue Kanäle aus den Rohdaten zu berechnen. In einigen Ausführungsformen der vorliegenden Offenbarung kann jede Polarisationskamera ohne Farbfilter oder mit Filtern verwendet werden, die verschiedene andere Bereiche des elektromagnetischen Spektrums, wie z. B. Infrarotlicht, transmittieren oder selektiv transmittieren.
1D ist eine perspektivische Ansicht eines Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung. In einigen Anwendungen werden Stereo-Vision-Techniken verwendet, um mehrere Bilder einer Szene aus verschiedenen Perspektiven zu erfassen. Wie oben erwähnt, werden in einigen Ausführungsformen der vorliegenden Offenbarung einzelne Polarisationskameras innerhalb eines Kamerasystems so nebeneinander angeordnet, dass Parallaxenverschiebungen zwischen den Kameras aufgrund des vorgesehenen Betriebsabstands des Kamerasystems zu den abzubildenden Objekten im Wesentlichen vernachlässigbar sind. Bei Stereo-Polarisationskamerasystemen sind einige der einzelnen Polarisationskameras so voneinander beabstandet, dass Parallaxenverschiebungen signifikant sind und für Objekte innerhalb des vorgesehenen Betriebsabstands des Kamerasystems erkannt werden können. Dies ermöglicht es, die Entfernungen zu verschiedenen Oberflächen in einer Szene (die „Tiefe“) in Abhängigkeit von der Größe einer Parallaxenverschiebung zu ermitteln (z. B. zeigen größere Parallaxenverschiebungen in den Positionen entsprechender Bereiche der Bilder an, dass sich diese entsprechenden Bereiche auf Oberflächen befinden, die näher am Kamerasystem liegen, und kleinere Parallaxenverschiebungen zeigen an, dass sich die entsprechenden Bereiche auf Oberflächen befinden, die weiter vom Kamerasystem entfernt sind). Diese Techniken zur Berechnung der Tiefe auf der Grundlage von Parallaxenverschiebungen werden manchmal als Tiefe aus Stereo bezeichnet.
Dementsprechend zeigt 1D ein Stereo-Polarisationskamerasystem 10" mit einem ersten Polarisationskameramodul 10-1" und einem zweiten Polarisationskameramodul 10-2'', die im Wesentlichen parallele optische Achsen haben und entlang einer Grundlinie 10-B beabstandet sind. In der in 1D gezeigten Ausführungsform umfasst das erste Polarisationskameramodul 10-1" die Polarisationskameras 10A'', 10B'', 10C'' und 10D'', die in einer 2x2-Anordnung ähnlich der in 1B und 1C gezeigten angeordnet sind. Ebenso ist das zweite Polarisationskameramodul 10-2'' und umfasst die Polarisationskameras 10E'', 10F'', 10G'' und 10H'' in einem 2x2-Array angeordnet, und das gesamte Stereo-Polarisationskameramodul 10'' umfasst acht einzelne Polarisationskameras (z. B., acht separate Bildsensoren hinter acht separaten Objektiven). In einigen Ausführungsformen der vorliegenden Offenbarung sind die entsprechenden Polarisationskameras der Polarisationskameramodule 10-1'' und 10-2'' konfiguriert, um Polarisationsrohbilder mit im Wesentlichen denselben Polarisationen zu erfassen. Zum Beispiel können die Kameras 10A'' und 10E'' beide lineare Polarisationsfilter mit dem gleichen Winkel von 0° haben, die Kameras 10B'' und 10F'' können beide lineare Polarisationsfilter mit dem gleichen Winkel von 45° haben, die Kameras 10C'' und 10G'' können beide lineare Polarisationsfilter mit einem gleichen Winkel von 90° haben, und die Kameras 10D'' und 10H'' können beide lineare Polarisationsfilter mit einem gleichen Winkel von 135° haben.
Ausführungsformen der vorliegenden Offenbarung sind nicht auf die in 1D gezeigte besondere Ausführungsform beschränkt. In einigen Ausführungsformen umfasst ein Stereo-Polarisationskamerasystem drei oder mehr Polarisationskameramodule, wobei jedes Polarisationskameramodul mehrere Polarisationskameras umfasst, die in einem Array angeordnet sind und konfiguriert sind unter Verwendung von Polarisationsfiltern Polarisationsrohbilder unterschiedlicher Polarisationen zu erfassen. Wie oben erwähnt, können in einigen Ausführungsformen der vorliegenden Offenbarung eine oder mehrere der einzelnen Polarisationskameras eines Polarisationskameramoduls einen Farbfilter enthalten, und als solche können eine oder mehrere der Polarisationskameras in einem Stereo-Polarisationskameramodul auch einen Farbfilter enthalten.
In einigen Ausführungsformen der vorliegenden Offenbarung umfasst ein Stereo-Polarisationskamerasystem eine Vielzahl von Polarisationskameramodulen, die entlang einer oder mehrerer Grundlinien voneinander beabstandet sind, wobei jedes der Polarisationskameramodule eine einzelne Polarisationskamera umfasst, die konfiguriert ist, um Polarisationsrohbilder mit unterschiedlichen Polarisationen zu erfassen, in Übereinstimmung mit Ausführungsformen wie der oben in Bezug auf 1A beschriebenen. In einigen Ausführungsformen der vorliegenden Offenbarung kann die Polarisationskamera jedes Moduls beispielsweise eine Polarisationsmaske enthalten (z. B. ähnlich der in 1A gezeigten Polarisationsmaske), so dass jede einzelne Polarisationskamera Bilder erfasst, bei denen die Pixel Licht gemäß einem Mosaikmuster verschiedener Polarisationsfilter (z. B. Polarisationsfilter mit unterschiedlichen Winkeln) erfassen. In der in 1A dargestellten Ausführungsform enthält beispielsweise jeder 2×2-Block von Pixeln der Polarisationsmaske lineare Polarisatoren mit linearen Polarisationswinkeln von 0°, 45°, 90° und 135°. In anderen Ausführungsformen der vorliegenden Offenbarung können die einzelnen Polarisationskameras mechanisch oder elektronisch steuerbare Polarisationsfilter enthalten, wie oben in Bezug auf 1A beschrieben, damit die Polarisationskameras Polarisationsrohbilder verschiedener Polarisationen erfassen können.
Während die obigen Ausführungsformen spezifizieren, dass die einzelnen Polarisationskameramodule oder die Polarisationskameras, die entlang einer oder mehrerer Grundlinien in dem Stereo-Polarisationskamerasystem voneinander beabstandet sind, im Wesentlichen parallele optische Achsen haben, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. Beispielsweise sind in einigen Ausführungsformen der vorliegenden Offenbarung die optischen Achsen der Polarisationskameramodule zueinander abgewinkelt, so dass die Polarisationskameramodule unterschiedlich abgewinkelte Ansichten von Objekten im vorgesehenen Arbeitsabstand liefern (z. B. dort, wo sich die optischen Achsen in der Nähe des vorgesehenen Arbeitsabstands vom Stereokamerasystem kreuzen oder schneiden).
2A, 2B, 2C und 2D stellen den Hintergrund zur Veranschaulichung der Segmentierungskarten bereit, die durch einen vergleichenden Ansatz und semantische Segmentierung oder Instanzsegmentierung basierend auf Polarisationsrohbildern gemäß den Aspekten der Ausführungsformen der vorliegenden Offenbarung berechnet werden. 2A ist ein Bild oder ein Intensitätsbild einer Szene mit einer echten transparenten Kugel, die auf einem Fotoausdruck platziert ist, der eine andere Szene mit zwei transparenten Kugeln („Spoofs“) und einigem Hintergrundrauschen zeigt. 2B zeigt eine Segmentierungsmaske, die von einem Maskenregionen-basierten faltenden neuronalen Netz (Mask R-CNN) berechnet wurde, das Instanzen von transparenten Kugeln identifiziert, die über das Intensitätsbild von 2A gelegt wurden, wobei verschiedene Linienmuster verwendet werden, wobei die echte transparente Kugel korrekt als Instanz identifiziert wird und die beiden Spoofs fälschlicherweise als Instanzen identifiziert werden. Mit anderen Worten, der Masken-R-CNN-Algorithmus wurde dazu verleitet, die beiden gefälschten transparenten Kugeln als Instanzen der tatsächlichen transparenten Kugeln in der Szene zu identifizieren.
2C ist ein lineares Polarisationswinkelbild (AOLP), das aus Polarisationsrohbildern berechnet wurde, die gemäß einer Ausführungsform der vorliegenden Erfindung von der Szene aufgenommen wurden. Wie in 2C gezeigt, haben transparente Objekte eine sehr einzigartige Textur im Polarisationsraum wie der AOLP-Domäne, wo es eine geometrieabhängige Signatur an Kanten und ein ausgeprägtes oder einzigartiges oder besonderes Muster gibt, das auf den Oberflächen transparenter Objekte im Winkel der linearen Polarisation entsteht. Mit anderen Worten: Die intrinsische Textur des transparenten Objekts (z. B. im Gegensatz zur extrinsischen Textur, die von den durch das transparente Objekt sichtbaren Hintergrundflächen übernommen wird) ist im Polarisationswinkelbild von 2C besser sichtbar als im Intensitätsbild von 2A.
2D zeigt das Intensitätsbild von 2A mit einer überlagerten Segmentierungsmaske, wie sie unter Verwendung von Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung berechnet wird, wobei der echte transparente Ball korrekt als Instanz unter Verwendung eines überlagerten Linienmusters identifiziert wird und die beiden Spoofs korrekt als Instanzen ausgeschlossen werden (z. B. enthält 2D im Gegensatz zu 2B keine überlagerten Linienmuster über den beiden Spoofs). Während 2A, 2B, 2C und 2D ein Beispiel für die Erkennung eines echten transparenten Objekts bei Vorhandensein von gefälschten transparenten Objekten zeigen, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und können auch auf andere optisch schwierige Objekte angewandt werden, wie z. B. transparente, lichtdurchlässige und nicht matte oder nicht lambertianische Objekte sowie nicht reflektierende (z. B. matte schwarze Objekte) und mehrweginduzierende Objekte.
Dementsprechend beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf das Extrahieren von Tensoren im Darstellungsraum (oder ersten Tensoren in ersten Darstellungsräumen, wie z. B. Polarisationsmerkmalskarten) aus den Polarisationsrohbildern, die als Eingabe für Oberflächencharakterisierungsalgorithmen oder andere computerbasierte Seh-Algorithmen bereitgestellt werden. Diese ersten Tensoren im ersten Darstellungsraum können Polarisationsmerkmalskarten enthalten, die Informationen bezüglich der Polarisation des von der Szene empfangenen Lichts kodieren, wie das in 2C gezeigte AOLP-Bild, DOLP-Merkmalskarten (Grad der linearen Polarisation) und dergleichen (z. B. andere Kombinationen aus Stokes-Vektoren oder Transformationen einzelner Polarisationsrohbilder). In einigen Ausführungsformen werden diese Polarisationsmerkmalskarten zusammen mit Nicht-Polarisationsmerkmalskarten (z. B. Intensitätsbilder wie das in 2A gezeigte Bild) verwendet, um zusätzliche Informationskanäle für die Verwendung durch semantische Segmentierungsalgorithmen bereitzustellen.
Während Ausführungsformen der vorliegenden Erfindung nicht auf die Verwendung mit bestimmten computerbasierten Seh-Algorithmen für die Analyse von Bildern beschränkt sind, beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Erfindung auf Deep-Learning-Frameworks für die polarisationsbasierte Erkennung von optisch anspruchsvollen Objekten (z. B. transparente, transluzente, nicht-lambertsche, mehrweginduzierende Objekte und nicht-reflektierende oder sehr dunkle Objekte), wobei diese Frameworks als polarisierte faltende neuronale Netze (polarisierte CNNs) bezeichnet werden können. Dieses polarisierte CNN-Framework enthält einen Backbone, der für die Verarbeitung der besonderen Textur der Polarisation geeignet ist und mit anderen computerbasierten Seh-Architekturen wie Mask R-CNN (z. B. zur Bildung einer Polarized Mask R-CNN-Architektur) gekoppelt werden kann, um eine Lösung für die genaue und robuste Charakterisierung von transparenten Objekten und anderen optisch schwierigen Objekten zu schaffen. Darüber hinaus kann dieser Ansatz auf Szenen mit einer Mischung aus transparenten und nicht-transparenten (z. B. undurchsichtigen Objekten) angewendet werden und kann zur Charakterisierung von transparenten, durchscheinenden, nicht-lambertschen, Mehrwege-induzierenden, dunklen und undurchsichtigen Oberflächen des oder der zu untersuchenden Objekte verwendet werden.
Darstellungsräume für Polarisationsmerkmale
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf Systeme und Verfahren zur Extraktion von Merkmalen aus Polarisationsrohbildern in Schritt 650, wobei diese extrahierten Merkmale in Schritt 690 bei der robusten Erkennung von optisch schwierigen Merkmalen in den Oberflächen von Objekten verwendet werden. Im Gegensatz dazu können vergleichende Verfahren, die sich allein auf Intensitätsbilder stützen, diese optisch schwierigen Merkmale oder Oberflächen nicht erkennen (z. B. beim Vergleich des Intensitätsbildes von 2A mit dem AOLP-Bild von 2C, wie oben beschrieben). Der Begriff „erste Tensoren“ in „ersten Darstellungsräumen“ wird hier verwendet, um sich auf Merkmale zu beziehen, die aus den von einer Polarisationskamera aufgenommenen Polarisationsrohbildern 18 berechnet (z. B. extrahiert) werden, wobei diese ersten Darstellungsräume zumindest Polarisationsmerkmalsräume umfassen (z. B. Merkmalsräume wie AOLP und DOLP, die Informationen über die Polarisation des vom Bildsensor erfassten Lichts enthalten) und können auch Nicht-Polarisations-Merkmalsräume umfassen (z. B. Merkmalsräume, die keine Informationen über die Polarisation des den Bildsensor erreichenden Lichts erfordern, wie z. B. Bilder, die nur basierend auf Intensitätsbildern berechnet werden, die ohne jegliche Polarisationsfilter erfasst wurden).
Die Wechselwirkung zwischen Licht und transparenten Objekten ist vielfältig und komplex, aber das Material eines Objekts bestimmt seine Transparenz bei sichtbarem Licht. Bei vielen transparenten Haushaltsgegenständen geht der größte Teil des sichtbaren Lichts direkt hindurch und ein kleiner Teil (~4% bis ~8%, je nach Brechungsindex) wird reflektiert. Das liegt daran, dass das Licht im sichtbaren Bereich des Spektrums nicht genügend Energie hat, um die Atome im transparenten Gegenstand anzuregen. Infolgedessen dominiert die Textur (z. B. das Aussehen) von Objekten, die sich hinter dem transparenten Objekt befinden (oder durch das transparente Objekt sichtbar sind), das Aussehen des transparenten Objekts. Betrachtet man beispielsweise eine transparente Glastasse oder einen Becher auf einem Tisch, so dominiert im Allgemeinen das Aussehen der Objekte auf der anderen Seite des Bechers (z. B. die Oberfläche des Tisches) das, was man durch die Tasse sieht. Diese Eigenschaft führt zu einigen Schwierigkeiten, wenn versucht wird, Oberflächenmerkmale von transparenten Objekten wie Glasfenstern und glänzenden, transparenten Farbschichten allein anhand von Intensitätsbildern zu erkennen.
3 ist eine übersichtliche Darstellung der Wechselwirkung von Licht mit transparenten und nicht transparenten (z. B. diffusen und/oder reflektierenden) Objekten. Wie in 3 dargestellt, nimmt eine Polarisationskamera 10 Polarisationsrohbilder einer Szene auf, die ein transparentes Objekt 302 vor einem undurchsichtigen Hintergrundobjekt 303 umfasst. Ein Lichtstrahl 310, der auf den Bildsensor 14 der Polarisationskamera 10 trifft, enthält Polarisationsinformationen sowohl von dem transparenten Objekt 302 als auch von dem Hintergrundobjekt 303. Der kleine Anteil des vom transparenten Objekt 302 reflektierten Lichts 312 ist stark polarisiert und hat daher einen großen Einfluss auf die Polarisationsmessung, im Gegensatz zu dem Licht 313, das vom Hintergrundobjekt 303 reflektiert wird und durch das transparente Objekt 302 hindurchgeht.
In ähnlicher Weise kann ein Lichtstrahl, der auf die Oberfläche eines Objekts trifft, auf verschiedene Weise mit der Form der Oberfläche interagieren. Zum Beispiel kann sich eine Oberfläche mit einer glänzenden Farbe im Wesentlichen ähnlich verhalten wie ein transparentes Objekt vor einem undurchsichtigen Objekt, wie in 3 gezeigt, wo Wechselwirkungen zwischen dem Lichtstrahl und einer transparenten oder transluzenten Schicht (oder Klarlackschicht) der glänzenden Farbe dazu führen, dass das von der Oberfläche reflektierte Licht basierend auf den Charakteristiken der transparenten oder transluzenten Schicht (z. B. basierend auf der Dicke und den Oberflächennormalen der Schicht) polarisiert wird, die in dem auf den Bildsensor treffenden Lichtstrahl kodiert sind. Wie weiter unten in Bezug auf die Form-aus-Polarisation-Theorie (SfP) näher erläutert wird, können Variationen in der Form der Oberfläche (z. B. die Richtung der Oberflächennormalen) signifikante Veränderungen in der Polarisation des von der Oberfläche des Objekts reflektierten Lichts verursachen. Zum Beispiel können glatte Oberflächen im Allgemeinen die gleichen Polarisationseigenschaften umfassen, aber ein Kratzer oder eine Delle in der Oberfläche ändert die Richtung der Oberflächennormalen in diesen Bereichen, und Licht, das auf Kratzer oder Dellen trifft, kann anders polarisiert, abgeschwächt oder reflektiert werden als in anderen Bereichen der Oberfläche des Objekts. Modelle für die Wechselwirkungen zwischen Licht und Materie berücksichtigen im Allgemeinen drei grundlegende Aspekte: Geometrie, Beleuchtung und Material. Die Geometrie basiert auf der Form des Materials. Die Beleuchtung umfasst die Richtung und Farbe der Beleuchtung. Das Material kann durch den Brechungsindex oder die Winkelreflexion/- durchlässigkeit des Lichts parametrisiert werden. Diese Winkelreflexion wird als bidirektionale Reflexionsverteilungsfunktion (BRDF) bezeichnet, obwohl andere Funktionsformen bestimmte Szenarien genauer darstellen können. Zum Beispiel wäre die bidirektionale unterirdische Streuverteilungsfunktion (BSSRDF) im Zusammenhang mit Materialien, die eine unterirdische Streuung umfassen (z. B. Marmor oder Wachs), genauer.
Ein Lichtstrahl 310, der auf den Bildsensor 16 einer Polarisationskamera 10 trifft, hat drei messbare Komponenten: die Intensität des Lichts (Intensitätsbild/I), den Prozentsatz oder Anteil des Lichts, der linear polarisiert ist (Grad der linearen Polarisation/DOLP/p), und die Richtung dieser linearen Polarisation (Winkel der linearen Polarisation/AOLP/ϕ). Diese Eigenschaften kodieren Informationen über die Oberflächenkrümmung und das Material des abzubildenden Objekts, die vom Prädiktor 710 verwendet werden können, um transparente Objekte zu erkennen, wie im Folgenden näher beschrieben. In einigen Ausführungsformen kann der Prädiktor 710 andere optisch schwierige Objekte basierend auf ähnlichen Polarisationseigenschaften von Licht, das durch lichtdurchlässige Objekte hindurchgeht, und/oder Licht, das mit mehrweginduzierenden Objekten oder mit nicht reflektierenden Objekten (z. B. mattschwarzen Objekten) interagiert, erkennen.
Daher beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Erfindung auf das Verwenden eines Merkmalsextraktors 700 zum Berechnen erster Tensoren in einem oder mehreren ersten Darstellungsräumen, die abgeleitete Merkmalskarten basierend auf der Intensität I, dem DOLP p und dem AOLP ϕ enthalten können. Der Merkmalsextraktor 700 kann im Allgemeinen Informationen in erste Darstellungsräume (oder erste Merkmalsräume) extrahieren, die Polarisationsdarstellungsräume (oder Polarisationsmerkmalsräume) umfassen, wie z. B. „Polarisationsbilder“, d. h. Bilder, die basierend auf den Polarisationsrohbildern extrahiert werden, die ansonsten nicht aus Intensitätsbildern berechnet werden könnten (z. B, Bilder, die von einer Kamera aufgenommen wurden, die keinen Polarisationsfilter oder einen anderen Mechanismus zum Erkennen der Polarisation des den Bildsensor erreichenden Lichts enthält), wobei diese Polarisationsbilder DOLP p-Bilder (im DOLP-Darstellungsraum oder Merkmalsraum), AOLP ϕ-Bilder (im AOLP-Darstellungsraum oder Merkmalsraum), andere Kombinationen der aus Stokes-Vektoren berechneten Polarisationsrohbilder sowie andere Bilder (oder allgemeiner erste Tensoren oder erste Merkmalstensoren) der aus Polarisationsrohbildern berechneten Informationen umfassen können. Die ersten Darstellungsräume können auch Nicht-Polarisations-Darstellungsräume wie den Intensitäts-I-Darstellungsraum umfassen.
Die Messung von Intensität I, DOLP ρ und AOLP ϕ an jedem Pixel erfordert drei oder mehr Polarisationsrohbilder einer Szene, die hinter Polarisationsfiltern (oder Polarisatoren) unter verschiedenen Winkeln ϕ_pol aufgenommen wurden (z. B. weil drei unbekannte Werte zu bestimmen sind: Intensität I, DOLP ρ und AOLP ϕ. Beispielsweise nimmt die oben beschriebene FLIR® Blackfly® S Polarisationskamera Polarisationsrohbilder mit Polarisationswinkeln ϕ_pol von 0 Grad, 45 Grad, 90 Grad oder 135 Grad auf, wodurch vier Polarisationsrohbilder I_ϕpol entstehen, die hier als I₀, I₄₅, I₉₀ und I₁₃₅ bezeichnet werden.
Die Beziehung zwischen I_ϕpol und der Intensität I, DOLP ρ und AOLP ϕ an jedem Pixel kann wie folgt ausgedrückt werden: $I_{ϕ_{p o l}} = I (1 + ρ cos (2 (ϕ - ϕ_{p o l})))$
Dementsprechend mit vier verschiedenen Polarisationsrohbildern I_ϕpol (I₀, I₄₅, I₉₀ und I₁₃₅) kann ein System mit vier Gleichungen verwendet werden, um die Intensität I, DOLP ρ und AOLP ϕ zu bestimmen.
Form aus Polarisation (SfP) Theorie (siehe z.B. Gary A. Atkinson und Edwin R. Hancock. Recovery of surface orientation from diffuse polarization. IEEE transactions on image processing, 15(6): 1653-1664, 2006.) stellt fest, dass die Beziehung zwischen dem Brechungsindex (n), dem Azimutwinkel (θ_a) und dem Zenitwinkel (θ_z) der Oberflächennormalen eines Objekts und den ϕ- und ρ-Komponenten des von diesem Objekt kommenden Lichtstrahls den folgenden Merkmalen folgt, wenn diffuse Reflexion vorherrscht: $ρ = \frac{{(n - \frac{1}{n})}^{2} {sin}^{2} (θ_{z})}{2 + 2 n^{2} - {(n + \frac{1}{n})}^{2} {sin}^{2} θ_{z} + 4 cos θ_{z} \sqrt{n^{2} - {sin}^{2} θ_{z}}}$
$ϕ = θ_{a}$
und wenn die spiegelnde Reflexion dominant ist: $ρ = \frac{2 {sin}^{2} θ_{z} cos θ_{z} \sqrt{n^{2} - {sin}^{2} θ_{z}}}{n^{2} - {sin}^{2} θ_{z} - n^{2} {sin}^{2} θ_{z} + 2 {sin}^{4} θ_{z}}$
$ϕ = θ_{a} - \frac{π}{2}$
Man beachte, dass in beiden Fällen p exponentiell zunimmt, wenn θ_z steigt, und dass bei gleichem Brechungsindex die spiegelnde Reflexion viel stärker polarisiert ist als die diffuse Reflexion.
Dementsprechend beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf die Anwendung der SfP-Theorie zur Erkennung der Formen von Oberflächen (z. B. der Ausrichtung von Oberflächen) auf der Grundlage der Polarisationsrohbilder 18 der Oberflächen. Dieser Ansatz ermöglicht es, die Formen von Objekten zu charakterisieren, ohne andere Computer-Seh-Techniken zum Bestimmen der Formen von Objekten zu verwenden, wie z. B. Time-of-Flight (ToF) Tiefenabtastung und/oder Stereo-Seh-Techniken, obwohl Ausführungsformen der vorliegenden Offenbarung in Verbindung mit solchen Techniken verwendet werden können.
Formal gesehen beziehen sich Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die Berechnung erster Tensoren 50 in ersten Darstellungsräumen, einschließlich der Extraktion erster Tensoren in Polarisationsdarstellungsräumen, wie z. B. das Bilden von Polarisationsbildern (oder das Extrahieren abgeleiteter Polarisationsmerkmalskarten) im Verfahrensschritt 650 basierend auf Polarisationsrohbildern, die von einer Polarisationskamera 10 erfasst wurden.
Lichtstrahlen, die von einem transparenten Objekt kommen, haben zwei Komponenten: einen reflektierten Anteil, der die reflektierte Intensität I_r, das reflektierte DOLP ρ_r und das reflektierte AOLP ϕ_r umfasst, und den gebrochenen Anteil, der die gebrochene Intensität I_t, das gebrochene DOLP ρ_t und das gebrochene AOLP ϕ_t umfasst. Die Intensität eines einzelnen Pixels im resultierenden Bild kann wie folgt geschrieben werden: $I = I_{r} + I_{t}$
Wenn ein Polarisationsfilter mit einem linearen Polarisationswinkel Φ_pol vor der Kamera platziert ist, beträgt der Wert an einem gegebenen Pixel: $I_{ϕ p o l} = I_{r} (1 + ρ_{r} cos (2 (ϕ_{r} - ϕ_{p o l}))) + I_{t} (1 + ρ_{t} cos (2 (ϕ_{t} - ϕ_{p o l})))$
Lösen des obigen Ausdrucks für die Werte eines Pixels in einem DOLP ρ Bild und eines Pixels in einem AOLP ϕ Bild in Form von I_r, ρ_r, ϕ_r, I_t, ρ_t, and ϕ_t: $ρ = \frac{\sqrt{{(I_{r} ρ_{r})}^{2} + {(I_{t} ρ_{t})}^{2} + 2 I_{t} ρ_{t} I_{r} ρ_{r} cos (2 (ϕ_{r} - ϕ_{t}))}}{I_{r} + I_{t}}$
$ϕ = arctan (\frac{I_{r} ρ_{r} sin (2 (ϕ_{r} - ϕ_{t}))}{I_{t} ρ_{t} + I_{r} ρ_{r} cos (2 (ϕ_{r} - ϕ_{t}))}) + ϕ_{r}$
Dementsprechend stellen die obigen Gleichungen (7), (8) und (9) ein Modell zum Bilden erster Tensoren 50 in ersten Darstellungsräumen bereit, die ein Intensitätsbild I, ein DOLP-Bild p und ein AOLP-Bild ϕ gemäß einer Ausführungsform der vorliegenden Offenbarung umfassen, wobei die Verwendung von Polarisationsbildern oder -tensoren in Polarisationsdarstellungsräumen (einschließlich eines DOLP-Bildes ρ und eines AOLP-Bildes ϕ auf der Grundlage der Gleichungen (8) und (9)) die zuverlässige Erkennung von optisch anspruchsvollen Oberflächencharakteristiken von Objekten ermöglicht, die im Allgemeinen von vergleichbaren Systemen, die nur Intensitätsbilder I als Eingabe verwenden, nicht erkannt werden können.
Genauer gesagt können erste Tensoren in Polarisationsdarstellungsräumen (unter den abgeleiteten Merkmalskarten 50) wie die Polarisationsbilder DOLP p und AOLP ϕ Oberflächencharakteristiken von Objekten aufzeigen, die sonst in einem Intensitäts-I-Bereich texturlos erscheinen würden. Ein transparentes Objekt kann eine Textur haben, die im Intensitätsbereich I unsichtbar ist, weil diese Intensität streng vom Verhältnis I_r/I_t abhängt (siehe Gleichung (6)). Im Gegensatz zu undurchsichtigen Objekten, bei denen I_t=0 ist, lassen transparente Objekte den größten Teil des einfallenden Lichts durch und reflektieren nur einen kleinen Teil des einfallenden Lichts. Ein weiteres Beispiel: Dünne oder kleine Abweichungen in der Form einer ansonsten glatten Oberfläche (oder glatte Abschnitte in einer ansonsten rauen Oberfläche) können im Intensitätsbereich I (z. B. einem Bereich, in dem die Polarisation des Lichts nicht berücksichtigt wird) im Wesentlichen unsichtbar sein oder einen geringen Kontrast umfassen, können aber in einem Polarisationsdarstellungsraum wie DOLP ρ oder AOLP ϕ sehr sichtbar sein oder einen hohen Kontrast umfassen.
Eine beispielhafte Methode zum Erfassen der Oberflächentopografie ist daher die Verwendung von Polarisationsmerkmalen in Verbindung mit geometrischer Regularisierung. Die Fresnel-Gleichungen setzen das AOLP ϕ und das DOLP ρ mit Oberflächennormalen in Beziehung. Diese Gleichungen können für die Erkennung von optisch schwierigen Objekten nützlich sein, indem sie die so genannten Polarisationsmuster der Oberfläche der optisch schwierigen Objekte ausnutzen. Ein Polarisationsmuster ist ein Tensor der Größe [M,N,K], wobei M und N die horizontalen bzw. vertikalen Pixeldimensionen sind und K der Polarisationsdatenkanal ist, der unterschiedlich groß sein kann. Wenn beispielsweise die zirkulare Polarisation ignoriert und nur die lineare Polarisation betrachtet wird, wäre K gleich zwei, da die lineare Polarisation sowohl einen Winkel als auch einen Polarisationsgrad (AOLP ϕ und DOLP ρ) hat. Analog zu einem Moire-Muster extrahiert das Merkmalsextraktionsmodul 700 in einigen Ausführungsformen der vorliegenden Offenbarung ein Polarisationsmuster in Polarisationsdarstellungsräumen (z. B. AOLP-Raum und DOLP-Raum).
Während die vorangegangene Diskussion spezifische Beispiele für Polarisationsdarstellungsräume basierend auf linearer Polarisation für den Fall liefert, dass eine Polarisationskamera mit einem oder mehreren linearen Polarisationsfiltern verwendet wird, um Polarisationsrohbilder zu erfassen, die verschiedenen Winkeln der linearen Polarisation entsprechen, und um Tensoren in linearen Polarisationsdarstellungsräumen wie DOLP und AOLP zu berechnen, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen der vorliegenden Offenbarung umfasst eine Polarisationskamera beispielsweise einen oder mehrere zirkulare Polarisationsfilter, die konfiguriert sind, um nur zirkular polarisiertes Licht durchzulassen, und bei denen Polarisationsmuster oder erste Tensoren im zirkularen Polarisationsdarstellungsraum weiter aus den Polarisationsrohbildern extrahiert werden. In einigen Ausführungsformen werden diese zusätzlichen Tensoren im zirkularen Polarisationsdarstellungsraum allein verwendet, und in anderen Ausführungsformen werden sie zusammen mit den Tensoren in linearen Polarisationsdarstellungsräumen wie AOLP und DOLP verwendet. Zum Beispiel kann ein Polarisationsmuster, das Tensoren in Polarisationsdarstellungsräumen umfasst, Tensoren im zirkularen Polarisationsraum, AOLP und DOLP umfassen, wobei das Polarisationsmuster die Dimensionen [M,N,K] haben kann, wobei K drei ist, um den Tensor im zirkularen Polarisationsdarstellungsraum weiter einzuschließen.
Dementsprechend beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf das Bereitstellen von ersten Tensoren in den ersten Darstellungsräumen (z. B. einschließlich Merkmalskarten in Polarisationsdarstellungsräumen), die aus Polarisationsrohbildern extrahiert wurden, als Eingaben für einen Prädiktor zum Berechnen oder Erkennen von Oberflächencharakteristiken von transparenten Objekten und/oder anderen optisch schwierigen Oberflächencharakteristiken von untersuchten Objekten. Diese ersten Tensoren können abgeleitete Merkmalskarten enthalten, die eine Intensitätsmerkmalskarte I, eine Merkmalskarte des linearen Polarisationsgrads (DOLP) p und eine Merkmalskarte des linearen Polarisationswinkels (AOLP) ϕ umfassen können, wobei die Merkmalskarte DOLP ρ und die Merkmalskarte AOLP ϕ Beispiele für Polarisationsmerkmalskarten oder -tensoren in Polarisationsdarstellungsräumen sind, die sich auf Merkmalskarten beziehen, die Informationen bezüglich der Polarisation des von einer Polarisationskamera erfassten Lichts kodieren.
In einigen Ausführungsformen werden die Merkmalskarten oder Tensoren in Polarisationsdarstellungsräumen beispielsweise als Eingabe für Erkennungsalgorithmen bereitgestellt, die die SfP-Theorie nutzen, um die Form von Oberflächen von Objekten zu charakterisieren, die von den Polarisationskameras 10 erfasst werden. In einigen Ausführungsformen werden beispielsweise im Fall der diffusen Reflexion die Gleichungen (2) und (3) verwendet, um den Zenitwinkel (θ_z) und den Azimutwinkel (θ_a) der Oberflächennormalen einer Oberfläche in der Szene auf der Grundlage des DOLP p und des Brechungsindex n zu berechnen. Ebenso werden im Fall der spiegelnden Reflexion die Gleichungen (3) und (5) zur Berechnung des Zenitwinkels (θ_z) und des Azimutwinkels (θ_a) der Oberflächennormalen einer Oberfläche in der Szene auf der Grundlage des DOLP p und des Brechungsindex n verwendet. Ein Beispiel für eine geschlossene Formlösung zur Berechnung des Zenitwinkels (θ_z) basierend auf Gleichung (2) gemäß einer Ausführungsform der vorliegenden Offenbarung in Übereinstimmung mit den folgenden Schritten: $a a = {(n - \frac{1}{n})}^{2} + ρ {(n + \frac{1}{n})}^{2}$
$b b = 4 ρ (n^{2} + 1) (a a - 4 ρ)$
$c c = b b^{2} + 16 ρ^{2} (16 ρ^{2} - a a^{2}) {(n^{2} - 1)}^{2}$
$d d = \sqrt{\frac{- b b - \sqrt{c c}}{2 (16 ρ^{2} - a a^{2})}}$
$θ_{Z} = a sin d d$
Weitere Einzelheiten zur Berechnung von Oberflächennormalen auf der Grundlage von Polarisationsrohbildern sind beispielsweise in US 2016 / 0 261 844 A1 und US 2019 / 0 186 901 A1 und Kadambi, A. [et al.], Polarized 3D: High-Quality Depth Sensing with Polarization Cues, 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2015, S. 3370-3378, doi: 10.1109/ICCV.2015.385.
Berechnen von Polarisationsmerkmalen aus Multikamera-Arrays
Normalerweise werden multipolare Hinweise aus einer monokularen Sichtweise gewonnen. Bestehende Verfahren verwenden multipolare Filter (z. B. eine Polarisationsmaske wie in 1B) oder mehrere CCD- oder CMOS-Sensoren, um verschiedene Polarisationskanäle in einer einzigen Ansicht zu multiplexen (z. B. mehrere Sensoren hinter einem einzigen Linsensystem) oder zeitmultiplexe Systeme (z. B., bei denen verschiedene Polarisationsrohbilder zu verschiedenen Zeiten erfasst werden, wie z. B. nacheinander, was erfordern kann, dass die Szene 1 von einer Erfassung zur nächsten im Wesentlichen oder konstant bleibt, damit die Ansichten gleich sind). Insbesondere die oben beschriebenen Techniken zur Berechnung von Polarisationskennwerten wie dem Winkel der linearen Polarisation (AOLP) ϕ und dem Grad der linearen Polarisation (DOLP) p gehen im Allgemeinen davon aus, dass die Polarisationsrohbilder vom gleichen Standpunkt aus aufgenommen werden.
Es gibt jedoch einige Umstände, unter denen die obige Annahme eines einzigen Blickpunkts möglicherweise nicht zutrifft. Zum Beispiel können Polarisationsrohbilder, die verschiedenen Polarisationszuständen entsprechen, von verschiedenen Standpunkten aus erfasst werden, wenn ein Polarisationskamera-Array verwendet wird, das mehrere Polarisationskameras an verschiedenen Standorten umfasst, wie die in den 1C, 1D und 1E gezeigten Ausführungsformen. Wenn die einzelnen Polarisationskameras näher beieinander platziert werden, kann der Fehler zwar verringert werden, aber physikalische Einschränkungen (z. B. die Größe der einzelnen Polarisationskameras, wie die Größe und Form ihrer entsprechenden Verpackung sowie die darin enthaltenen Linsen und Bildsensoren) können die Platzierung der Polarisationskameras begrenzen.
Dementsprechend beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf Systeme und Verfahren zur Berechnung von Polarisationskennwerten wie AOLP ϕ und DOLP ρ aus Polarisationsrohbildern, die aus verschiedenen Blickpunkten aufgenommen wurden, beispielsweise unter Verwendung einer Anordnung von Polarisationskameras. Im Allgemeinen erfordert dies eine Technik zur Entkopplung von Parallaxenmerkmalen aufgrund der unterschiedlichen Positionen der einzelnen Polarisationskameras und den gewünschten Polarisationsmerkmalen. Dies ist eine Herausforderung, da Parallaxenhinweise und Polarisationshinweise insofern miteinander verknüpft sind, als sowohl die Parallaxe zwischen zwei Ansichten als auch die erfasste Polarisation von der Geometrie der Beziehung zwischen den Polarisationskameras und der abgebildeten Oberfläche abhängen. Bei den vergleichenden Ansätzen zum Ermitteln von AOLP und DOLP wird davon ausgegangen, dass die Polarisationskanäle vom gleichen Standpunkt aus erfasst werden, so dass die Anwendung vergleichender Verfahren auf die von der Anordnung von Polarisationskameras erfassten Daten wahrscheinlich zu Fehlern oder Mehrdeutigkeit führt.
4 ist ein Flussdiagramm 400 eines Verfahrens zur Schätzung von Polarisationsmerkmalen bei Parallaxenmehrdeutigkeit gemäß einer Ausführungsform der vorliegenden Offenbarung.
In der in 4 gezeigten Ausführungsform werden Polarisationsrohbilder, die von einer Vielzahl verschiedener Blickpunkte, z. B. von einem Array von Polarisationskameras, wie in den 1B, 1C und 1D gezeigt, erfasst wurden, als Eingabe in den Prozess geliefert. In einigen Ausführungsformen der vorliegenden Offenbarung werden Schätzungen des DOLP p und des AOLP ϕ in Übereinstimmung mit Ausführungsformen der vorliegenden Offenbarung von einer Verarbeitungsschaltung 100 durch einen iterativen Prozess berechnet. Es ist zu beachten, dass der geschätzte DOLP p und der geschätzte AOLP ϕ Tensoren (z. B. zweidimensionalen Tensoren) mit Seitenverhältnissen entsprechen, die den Polarisationsrohbildern entsprechen, z. B. wo die Werte des DOLP p-Tensors und des AOLP ϕ-Tensors dem geschätzten Grad der linearen Polarisation und dem Winkel der linearen Polarisation in verschiedenen Bereichen der erfassten Polarisationsrohbilder entsprechen.
Im Verfahrensschritt 410 berechnet die Verarbeitungsschaltung einen anfänglichen geschätzten DOLP ρ₀ und einen anfänglichen geschätzten AOLP ϕ₀ unter Verwendung der Stokes-Vektoren (z. B. gemäß den obigen Gleichungen (10) und (11) oder, genauer gesagt, gemäß den Gleichungen (8) und (9). Diese anfänglichen geschätzten DOLP ρ₀ und AOLP ϕ₀ werden wahrscheinlich aufgrund der Parallaxenverschiebung zwischen den verschiedenen einzelnen Polarisationskameras des Polarisationskamera-Arrays 10' falsch sein.
Im Verfahrensschritt 430 schätzt die Verarbeitungsschaltung 100 die Geometrie der Oberflächen der Szene, die in den Polarisationsrohbildern abgebildet sind. In einigen Ausführungsformen der vorliegenden Offenbarung verwendet die Verarbeitungsschaltung 100 einen auf Ansichtskorrespondenz basierenden Ansatz, um ein Grobmodell der Szene unter Verwendung der Parallaxe aus der Stereosicht der Szene aufgrund des Versatzes zwischen den Positionen der Kameras in der Anordnung zu erzeugen (z. B. unter Verwendung von Tiefe aus Stereotechniken, wie z. B. in
Kadambi, A. [et al.], Polarized 3D: High-Quality Depth Sensing with Polarization Cues, 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2015, S. 3370-3378, doi: 10.1109/ICCV.2015.385. diskutiert). Im Verfahrensschritt 450 kann diese grobe Geometrie dann unter Verwendung der aktuell berechneten Werte für DOLP pi und AOLP ϕ_i (anfänglich i=0) verfeinert werden (siehe z. B. US 2016 / 0 261 844 A1 und 10,557,705 und Kadambi, A. [et al.], Polarized 3D: High-Quality Depth Sensing with Polarization Cues, 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2015, S. 3370-3378, doi: 10.1109/ICCV.2015.385.).
Die im Verfahrensschritt 450 berechnete geschätzte Geometrie wird dann verwendet, um die geschätzten Werte des DOLP p und des AOLP ϕ zu aktualisieren. Beispielsweise können in einer i-ten Iteration ein zuvor berechneter DOLP ρ_i-1 und ein zuvor berechneter AOLP ϕ_i-1 verwendet werden, um die geschätzte Geometrie im Verfahrensschritt 450 zu berechnen, und im Verfahrensschritt 470 verfeinert das Verarbeitungssystem 100 die DOLP- und AOLP-Berechnungen basierend auf der neuen geschätzten Geometrie, um neue Schätzungen DOLP pi und AOLP ϕ_i zu berechnen.
Im Verfahrensschritt 490 bestimmt das Verarbeitungssystem 100, ob es mit einer weiteren Iteration des Prozesses zur Schätzung von DOLP p und AOLP ϕ fortfahren soll. In einigen Ausführungsformen wird eine Änderung des DOLP Δρ auf der Grundlage der Differenz zwischen dem aktualisierten DOLP pi und dem zuvor berechneten DOLP ρ_i-1 berechnet (z. B. |ρ_i-ρ_i-1|). Ebenso wird eine Änderung des AOLP Δϕ anhand der Differenz zwischen dem aktualisierten AOLP ϕ_i und dem zuvor berechneten AOLP ϕ_i-1 berechnet (z. B. |ϕ_i-ϕ_i-1|). Wenn eine dieser Änderungen der Polarisationshinweise (z. B. sowohl Δρ als auch Δϕ) größer ist als die entsprechenden Schwellenwerte (z. B. ρ_th und ϕ_th) für die berechneten Tensoren, wird der Prozess fortgesetzt, indem die aktualisierten DOLP pi und AOLP ϕ_i verwendet werden, um das Grobmodell im Verfahrensschritt 450 zu verfeinern, und dann die DOLP- und AOLP-Werte basierend auf dieser neuen geschätzten Geometrie aktualisiert werden. Wenn beide Änderungen der Polarisationshinweise unter den entsprechenden Schwellenwerten liegen, ist der Schätzungsprozess abgeschlossen und die geschätzten DOLP ρ_i und AOLP ϕ_i werden aus dem Schätzungsprozess ausgegeben und können bei der Berechnung weiterer Verarbeitungsergebnisse, wie z. B. Oberflächennormalenkarten, Instanzsegmentierungskarten etc., verwendet werden.
Multispektrales Stereo mit Polarisationsbildgebung
In vielen Fällen, z. B. bei der Fernerkundung, können mit multispektralen Bildern von Szenen Informationen erfasst werden, die sonst nicht sichtbar wären. Zum Beispiel kann die multispektrale oder hyper-spektrale Bildgebung Oberflächeneigenschaften von Szenen erkennen, wie z. B. Bodeneigenschaften wie Feuchtigkeit, organischer Gehalt und Salzgehalt, ölverschmutzte Böden, was in der Landwirtschaft nützlich sein kann. Ein weiteres Beispiel ist die multispektrale Bildgebung, die es ermöglicht, getarnte Ziele zu erkennen, z. B. Militärfahrzeuge unter teilweiser Vegetationsdecke oder kleine militärische Objekte in relativ großen Pixeln. Ein weiteres Beispiel: Die multispektrale Bildgebung ermöglicht die Identifizierung und Kartierung von Materialien, z. B. die Feststellung des Vorhandenseins oder Nichtvorhandenseins von Materialien in Reliefs, die Kartierung von Schwermetallen und anderen giftigen Abfällen in Bergbaugebieten. Die multispektrale Bildgebung ermöglicht auch die Erkennung des Vorhandenseins bestimmter Materialien, wie z. B. verschüttetes Wasser/Öl (dies ist von besonderer Bedeutung für Innenraumroboter, damit sie diese Verschüttungen vermeiden bzw. deren Umgehung planen können, und für Staubsaugerroboter zur Erkennung, Lokalisierung und Beseitigung von verschüttetem Wasser und anderem kleinen, dunklen und/oder spiegelnden Schmutz). Die multispektrale Bildgebung kann auch zur Materialinspektion eingesetzt werden, z. B. zur Erkennung von Rissen und Rost in Industrieanlagen wie Industriekesseln und Eisenbahnschienen, bei denen ein Ausfall extrem gefährlich und die Wiederherstellung teuer sein kann.
In den oben genannten Beispielen sind computerbasierte Seh-Techniken, die vergleichbare und Standard-Farbbilder (z. B. rote, grüne und blaue Bilder) als Eingabe verwenden, möglicherweise nicht in der Lage, diese Arten von Objekten zu erkennen, aber die Verwendung von multispektraler oder hyper-spektraler Bildgebung, kombiniert mit Polarisationsinformationen, kann zusätzliche Hinweise liefern, die von computerbasierten Seh-Algorithmen und Instanz-Erkennungstechniken (z. B. unter Verwendung von trainierten neuronalen faltenden Netzen) erkannt werden können.
Im Allgemeinen misst die spektrale Strahldichte einer Oberfläche die Rate der von einer Oberfläche reflektierten Photonen als Funktion der Oberflächenfläche, der Neigung und der einfallenden Wellenlänge. Die spektrale Strahldichtefunktion der meisten natürlichen Bilder ist eine regelmäßige Funktion der Wellenlängen, die es ermöglicht, diese mit einem niedrigdimensionalen linearen Modell darzustellen. Mit anderen Worten: Die spektrale Darstellung des von der Oberfläche reflektierten Lichts kann als lineare Kombination von spektralen Basisfunktionen dargestellt werden: $s \approx \sum_{i = 0}^{n} w_{i} B_{i}$
wobei w_i die linearen Gewichte sind, B_i die spektrale Basisfunktion darstellt und n die Dimensionalität des System ist. Verwandte Arbeiten auf dem Gebiet der spektralen Strahlungsprofile natürlicher Objekte zeigen, dass die spektrale Strahldichte natürlicher Objekte größtenteils durch fünf oder sechs lineare Basisfunktionen genau dargestellt werden kann.
Dementsprechend beziehen sich einige Ausführungsaspekte der vorliegenden Offenbarung auf das Sammeln von Spektralinformationen gleichzeitig mit Polarisationsinformationen unter Verwendung eines Stereobildpaars, wobei jedes Kamerasystem (oder Kameramodul) des Stereopaars eine Kameraanordnung umfasst, die das Erfassen sowohl der Spektral- als auch der Polarisationsinformationen ermöglicht.
5A ist eine perspektivische Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung. Ausführungsformen eines multispektralen Stereo-Polarisationskamerasystems, wie in 5A gezeigt, sind im Wesentlichen ähnlich dem Stereo-Polarisationskamerasystem, das in 1E gezeigt ist, dass 5A ein multispektrales Stereo-Polarisationskamerasystem 510 zeigt, das ein erstes Polarisationskameramodul 510-1'' und ein zweites Polarisationskameramodul 510-2'' hat, die im Wesentlichen parallele optische Achsen haben und entlang einer Grundlinie 510-B voneinander beabstandet sind. In der in 5A gezeigten Ausführungsform umfasst das erste Polarisationskameramodul 510-1''' die Polarisationskameras 510A'', 510B'', 510C'' und 510D'', die in einer 2×2-Anordnung ähnlich der in 1C und 1D gezeigten angeordnet sind. Ebenso umfasst das zweite Polarisationskameramodul 510-2'' die Polarisationskameras 510E'', 510F'', 510G'' und 510H'', die in einem 2x2-Array angeordnet sind, und das gesamte multispektrale Stereo-Polarisationskameramodul 510 umfasst acht einzelne Polarisationskameras (z. B., acht separate Bildsensoren hinter acht separaten Linsen). In einigen Ausführungsformen der vorliegenden Offenbarung sind die entsprechenden Polarisationskameras der Polarisationskameramodule 510-1'' und 510-2'' so konfiguriert, dass sie Polarisationsrohbilder mit im Wesentlichen denselben Polarisationen erfassen. Zum Beispiel können die Kameras 510A'' und 510E'' beide lineare Polarisationsfilter mit dem gleichen Winkel von 0° haben, die Kameras 510B'' und 510F'' können beide lineare Polarisationsfilter mit dem gleichen Winkel von 45° haben, die Kameras 510C'' und 510G'' können beide lineare Polarisationsfilter mit einem gleichen Winkel von 90° haben, und die Kameras 510D'' und 510H'' können beide lineare Polarisationsfilter mit einem gleichen Winkel von 135° haben.
5B ist eine Ansicht eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung, entlang einer Richtung parallel zur optischen Achse des multispektralen Stereo-Polarisationskamerasystems. 5C zeigt geschnittene Seitenansichten von beispielhaften einzelnen Polarisationskameras eines multispektralen Stereo-Polarisationskamerasystems gemäß einer Ausführungsform der vorliegenden Offenbarung. Wie in 5C gezeigt, enthält jede der einzelnen Polarisationskameras (z. B. 510A'', 510B'', 510E'' und 510F'') einen entsprechenden Farbfilter 518 (z. B., 518A'', 518B'', 518E'' und 518F'') im optischen Pfad der individuellen Polarisationskamera, zusätzlich zu einem entsprechenden Objektiv 512, einem entsprechenden Bildsensor 514 und einem entsprechenden Polarisationsfilter 516. Während in 5C der Farbfilter 518 innerhalb eines Gehäuses und hinter dem Objektiv 512 dargestellt ist, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen befindet sich der Farbfilter 518 beispielsweise vor dem Objektiv 512. Ebenso befindet sich in einigen Ausführungsformen der Polarisationsfilter vor der Linse 512.
In der in 5B gezeigten Ausführungsform enthält jede der einzelnen Polarisationskameras einen Farbfilter, der Licht nur in einem entsprechenden Bereich des sichtbaren Spektrums durchlässt (im Gegensatz zu einem Bayer-Filter, der ein Mosaikmuster aufweist und typischerweise Licht in drei verschiedenen Bereichen des Spektrums durchlässt, die rotem, grünem und blauem Licht entsprechen). Im Ausführungsbeispiel in 5B hat die erste Polarisationskamera 510A'' einen Farbfilter 518A'', der konfiguriert ist, Licht in einem roten (R) Bereich des Spektrums zu transmittieren, die zweite Polarisationskamera 510B'' hat einen Farbfilter 518B'', der konfiguriert ist, Licht in einem ersten grünen (G1) Bereich des Spektrums zu transmittieren, die dritte Polarisationskamera 510C'' hat einen Farbfilter 518C'', der konfiguriert ist, um Licht in einem zweiten grünen (G2) Bereich des Spektrums zu transmittieren (der sich von dem ersten grünen Bereich G1 des Spektrums unterscheiden kann, z. g., mit einer um 15 bis 20 nm verschobenen Spitze), und die vierte Polarisationskamera 510D'' hat einen Farbfilter 518D'', der konfiguriert ist, um Licht in einem blauen (B) Bereich des Spektrums zu transmittieren. Zusammen erfassen die vier Polarisationskameras des ersten Polarisationskameramoduls 510-1'' Licht in vier verschiedenen Polarisationszuständen (z. B. vier verschiedene lineare Polarisationen von 0°, 45°, 90° und 135°) und vier verschiedenen Farben (z. B. R, G1, G2 und B). In der besonderen Ausführungsform, die in 5B zeigt, erfasst die erste Polarisationskamera 510A'' beispielsweise rotes Licht, das bei 0° polarisiert ist, die zweite Polarisationskamera 510B'' erfasst erstes grünes Licht, das bei 45° polarisiert ist, die dritte Polarisationskamera 510C'' erfasst zweites grünes Licht, das bei 90° polarisiert ist, und die vierte Polarisationskamera 510D'' erfasst blaues Licht, das bei 135° polarisiert ist. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht darauf beschränkt. Zum Beispiel können in verschiedenen Ausführungsformen die Farbfilter mit verschiedenen Polarisationsfiltern verbunden sein.
In ähnlicher Weise können die einzelnen Polarisationskameras (z. B., Kameras 510E'', 510F'', 510G'' und 510BH'') des zweiten Polarisationskameramoduls 510-2'' einen separaten Farbfilter 518 umfassen, der konfiguriert ist, um Licht in verschiedenen Bereichen des elektromagnetischen Spektrums und unterschiedlich voneinander zu transmittieren. In einer Ausführungsform der vorliegenden Erfindung überträgt jeder der Farbfilter des zweiten Polarisationskameramoduls 510-2'' Licht in einem Bereich des Spektrums, der um einen bestimmten Betrag verschoben ist (z.B., wobei die Spitze des Spektralprofils des Farbfilters entweder zu den längeren Wellenlängen oder zu den kürzeren Wellenlängen um etwa 10 Nanometer bis etwa 20 Nanometer verschoben ist) gegenüber dem entsprechenden Farbfilter im ersten Polarisationskameramodul 510-1''.
Im Ausführungsbeispiel in 5B, hat die fünfte Polarisationskamera 510E'' einen Farbfilter 518E'', der konfiguriert ist, um Licht in einem roten (R') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum R verschoben ist, das von dem entsprechenden Farbfilter 518A'' des entsprechenden Polarisationskameramoduls 510A'' des ersten Polarisationskameramoduls 510-1'' transmittiert wurde. Gleichermaßen, hat die sechste Polarisationskamera 510F'' einen Farbfilter 518F'', der konfiguriert ist, um Licht in einem ersten grünen (G1') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum G1 verschoben ist, das von dem entsprechenden Farbfilter 518B''' der entsprechenden Polarisationskamera 510B'' des ersten Polarisationskamera-Moduls 510-1'' transmittiert wurde (und, in einigen Ausführungsformen auch ein anderes Spektrum als Spektrum G2). Die siebte Polarisationskamera 510G'' hat einen Farbfilter 518G'', der konfiguriert ist, um Licht in einem zweiten grünen (G2') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum G2 verschoben ist, das von dem entsprechenden Farbfilter 518C''' der entsprechenden Polarisationskamera 510C'' des ersten Polarisationskameramoduls 510-1'' transmittiert wurde (und, in einigen Ausführungsformen auch ein anderes Spektrum für das Spektrum G1). Die achte Polarisationskamera 510H'' hat einen Farbfilter 518H'', der konfiguriert ist, um Licht in einem blauen (B') Bereich des Spektrums zu transmittieren, das um etwa 10 bis 20 Nanometer gegenüber dem Spektrum B verschoben ist, das von dem entsprechenden Farbfilter 518D''' der entsprechenden Polarisationskamera 510D'' des ersten Polarisationskameramoduls 510- 1'' transmittiert wurde.
Zusammen erfassen die vier Polarisationskameras des zweiten Polarisationskameramoduls 510-2'' Licht in vier verschiedenen Polarisationszuständen (z.B., vier verschiedene lineare Polarisationen von 0°, 45°, 90° und 135°) und vier verschiedene Farben (z. B. R', G1', G2' und B'), die sich auch von den vier Farben unterscheiden, die vom ersten Polarisationskameramodul 510-1'' erfasst werden. Infolgedessen ist das in den , und dargestellte multispektrale Stereo-Polarisationskamerasystem 510 so konfiguriert, dass es Licht in acht verschiedenen Farben und unter vier verschiedenen Polarisationswinkeln erfasst.
Während einige Ausführungsformen der vorliegenden Offenbarung oben in Bezug auf die 5A, 5B und 5C detailliert beschrieben sind, sind die Ausführungsformen der vorliegenden Offenbarung nicht auf diese beschränkt. Zum Beispiel kann, wie oben erwähnt, in einigen Ausführungsformen der vorliegenden Offenbarung jedes Polarisationskameramodul nur drei Polarisationskameras umfassen. In einigen Ausführungsformen können die drei einzelnen Polarisationskameras entsprechende lineare Polarisatoren mit linearen Polarisationsfiltern bei 0°, 45° und 90° oder bei 0°, 60° und 120° umfassen. In einigen Ausführungsformen haben die drei einzelnen Polarisationskameras des ersten Polarisationskameramoduls entsprechende Farbfilter, um rotes (R), grünes (G) und blaues (B) Licht mit entsprechenden ersten Spektralprofilen zu transmittieren, und die drei einzelnen Polarisationskameras des zweiten Polarisationskameramoduls können entsprechende Farbfilter haben, um rotes (R'), grünes (G') und blaues (B') Licht mit zweiten Spektralprofilen zu transmittieren, die sich von dem ersten Spektralprofil unterscheiden (z. B, wobei jedes der zweiten Spektralprofile gegenüber den entsprechenden ersten Spektralprofilen um 10 bis 20 nm verschoben ist).
Während einige Ausführungsformen der vorliegenden Offenbarung oben in Bezug auf Farbfilter beschrieben sind, die verschiedene Bereiche des sichtbaren elektromagnetischen Spektrums durchlassen, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und können auch die Verwendung von Farbfiltern umfassen, die selektiv Licht in anderen Bereichen des elektromagnetischen Spektrums durchlassen, z. B. Infrarotlicht oder ultraviolettes Licht.
In einigen Ausführungsformen der vorliegenden Offenbarung umfassen die beiden unterschiedlichen Polarisationskameramodule des multispektralen Stereo-Polarisationskamerasystems Polarisationskameras, die konfiguriert sind, um Polarisationsrohbilder unterschiedlicher Polarisationszustände (z. B. unterschiedlicher Polarisationswinkel) zu erfassen, wie z. B. unter Verwendung einer Polarisationsmaske, wie in 1B gezeigt, oder eines mechanisch oder elektronisch steuerbaren Polarisationsfilters. Gemäß einigen Ausführungsformen der vorliegenden Offenbarung umfasst jede Polarisationskamera ferner einen Farbfilter, der konfiguriert ist, um Licht in einer Vielzahl von Farben in Übereinstimmung mit einem Mosaikmuster, wie z. B. einem Bayer-Muster, zu filtern, wobei jede Polarisationskamera einen anderen Farbfilter haben kann, um eine multispektrale oder hyperspektrale Erfassung zu ermöglichen. In einigen Ausführungsformen enthält beispielsweise eine erste Polarisationskamera eines Stereopaars einen ersten Farbfilter, der konfiguriert ist, um Licht in den Spektren R, G1, G2, B (oder R, G, B) zu erfassen, wie oben beschrieben, und eine zweite Polarisationskamera des Stereopaars enthält einen zweiten Farbfilter, der konfiguriert ist, um Licht in den Spektren R', G1', G2', B' (oder R', G', B'), wie oben beschrieben, zu erfassen.
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Erfassung multispektraler Szenen unter Verwendung von Hardware-Anordnungen wie den oben beschriebenen, indem die spektralen Basisfunktionen für die Darstellung bestimmt werden. Durch Schätzung der spektralen Leistungsverteilung der Szenenbeleuchtung und Verwendung der spektralen Reflexionsfunktion der Macbeth-Farbkarte ist es möglich, einen Satz von Basisfunktionen B zu simulieren, die diese Beleuchtung darstellen. Dies ist insbesondere dann möglich, wenn das spektrale Profil des natürlichen Sonnenlichts für den Außenbereich geschätzt werden soll, wie es typischerweise bei der multispektralen Bildgebung für georäumliche Anwendungen der Fall ist. Sobald die spektralen Basisfunktionen bestimmt sind, ist es einfach, die Spektralkoeffizienten für jede Szene zu bestimmen, indem man einfach w (Gewichte) in der folgenden Gleichung auflöst $p = T S = T B w$
wobei p die Pixelwerte in den verschiedenen spektralen (Farb-)Kanälen darstellt (z. B. acht verschiedene Farbkanäle R, G1, G2, B, R', G1', G2' und B'), T die spektralen Empfindlichkeiten der verschiedenen spektralen Kanäle (z. B, die erfassten Werte), B steht für die spektralen Basisfunktionen und w für die Koeffizienten für die Basisfunktionen.
Dementsprechend ermöglicht die Anwendung der obigen Gleichung (13) die Berechnung von Polarisationsinformationen pro Pixel sowie von Spektralinformationen.
Die von der multispektralen Hardware berechneten multispektralen oder hyperspektralen Informationen, wie die oben beschriebenen, können als Eingaben für andere Objekterkennungs- oder Instanzsegmentierungsalgorithmen (z. B. unter Verwendung von faltenden neuronalen Netzen, die basierend auf markierten multispektralen Polarisationsbild-Trainingsdaten trainiert oder neu trainiert werden) oder als Eingaben für klassische computerbasierte Seh-Algorithmen (z. B., wie z.B. zur Erkennung der Tiefe von Oberflächen auf der Grundlage der Parallaxenverschiebung von multispektralen und Polarisationsmerkmalen) zur Erkennung des Vorhandenseins von Objekten in den Szenen, die von multispektralen Stereo-Polarisationskamerasystemen gemäß den Ausführungsformen der vorliegenden Offenbarung abgebildet werden.
Während sich einige Ausführungsformen der vorliegenden Offenbarung, wie oben beschrieben, auf die multispektrale Polarisationsbildgebung aus mehreren Blickpunkten unter Verwendung eines Stereokamerasystems (z. B. eines Stereopaars) beziehen, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen der vorliegenden Offenbarung überstreicht beispielsweise ein multispektrales Kamerasystem (z. B. unter Verwendung eines Kamerasystems, das konfiguriert ist, um sechs oder mehr verschiedene Spektren zu erfassen, wie R, G, B, R', G' und B', wie oben beschrieben) mehrere Blickpunkte im Laufe der Zeit, z. B. wenn sich ein Objekt von Interesse auf einem Förderband befindet, das durch das Sichtfeld des Kamerasystems läuft, oder wenn sich das Kamerasystem über das Sichtfeld des Objekts von Interesse bewegt.
Ein Beispiel für Anwendungen in der Satellitenbildgebung ist der zusätzliche Vorteil, dass die Szene aus mehreren Winkeln betrachtet werden kann, die hoch korreliert sind. Die systematische Art und Weise, in der sich Satelliten in geraden Linien über einem bestimmten Punkt auf dem Boden bewegen, ermöglicht es den Satelliten, hochkorrelierte Multispektral- und Polarisationsdaten der Bodenoberflächen für jeden Blickpunkt über einen großen Bereich von Blickpunkten zu erhalten. Dementsprechend bestimmt in einigen Ausführungsformen der vorliegenden Offenbarung ein Verarbeitungssystem 100 für jeden Punkt auf dem Boden den optimalen Winkel, bei dem das Signal des Polarisationsgrades (DOLP) am stärksten ist, wodurch eine starke Korrelation hinsichtlich seiner Oberflächenorientierung entsteht. Siehe z. B. Gleichungen (2) und (4). Da die Spiegelung im Allgemeinen stark vom Blickpunkt abhängt, werden die meisten Ansichten einer bestimmten Oberfläche nicht spiegelnd sein, so dass Gleichung (2) ausreichen kann, um die Ausrichtung der abgebildeten Oberfläche zu berechnen, ohne dass eine Auswahl zwischen der nicht spiegelnden (oder diffusen) Gleichung und der spiegelnden Gleichung (4) erforderlich ist.
Darüber hinaus ermöglicht die Satellitenbildgebung die Erfassung von Bildern von Objekten, die aus sehr unterschiedlichen Blickpunkten aufgenommen wurden. Diese große Grundlinie ermöglicht die Abschätzung grober Entfernungen von Objekten am Boden, indem die multispektrale Bildgebung mit Polarisations- und Parallaxenverschiebungen aufgrund der großen Positionsveränderungen genutzt wird. Die Erkennung dieser groben Entfernungen liefert Informationen für das Katastrophenmanagement, die Überwachung von Stromleitungen und die Sicherheit. So sind Versorgungsunternehmen beispielsweise besorgt über das unkontrollierte Wachstum der Vegetation in und um Stromübertragungs- und -verteilungsleitungen, da die Gefahr von Bränden oder Schäden an den Leitungen besteht. Indem man die Bereiche um die Stromleitungen von verschiedenen Standpunkten aus abbildet, ermöglicht die Erkennung der Parallaxenverschiebung der Objekte bei Betrachtung von verschiedenen Standpunkten aus Schätzungen der Oberflächenhöhe der Vegetation und der Höhe der Übertragungs- und Verteilungsleitungen. Auf diese Weise kann automatisch festgestellt werden, wann die Bodenvegetation kritische Schwellenwerte in Bezug auf die Nähe der Leitungen im Hinblick auf das Wachstum der Vegetation erreicht. Um solche Daten sowohl bei Tag als auch bei Nacht zu überwachen, beziehen sich einige Ausführungsformen der vorliegenden Offenbarung auf die Verschmelzung von Polarisationsdaten mit thermischen Sensoren (z. B. Infrarotsensoren), um klare Wärmesignaturen unabhängig von den Beleuchtungsbedingungen zu erhalten.
Bildsegmentierung mit polarimetrischen Merkmalen
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Durchführung einer Instanzsegmentierung unter Verwendung polarimetrischer Hinweise, die in Übereinstimmung mit Ausführungsformen der vorliegenden Offenbarung erfasst wurden. Einige Techniken zur Durchführung einer Instanzsegmentierung unter Verwendung polarimetrischer Hinweise werden in der vorläufigen US-Patentanmeldung Nr. 62/942,113 , die am 30. November 2019 beim US-Patentamt eingereicht wurde, und in der vorläufigen US-Patentanmeldung Nr. 63/001,445 , die am 29. März 2020 beim US-Patentamt eingereicht wurde, ausführlicher beschrieben.
6A ist ein Blockdiagramm der Verarbeitungsschaltung 100 zur Berechnung von Oberflächencharakterisierungsausgaben auf der Grundlage von Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung. 6B ist ein Flussdiagramm eines Verfahrens 600 zur Durchführung einer Oberflächencharakterisierung auf der Grundlage von Eingangsbildern, um eine Oberflächencharakterisierungsausgabe gemäß einer Ausführungsform der vorliegenden Erfindung zu berechnen.
Gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung wird die Verarbeitungsschaltung 100 unter Verwendung einer oder mehrerer elektronischer Schaltungen implementiert, die konfiguriert sind, um verschiedene Operationen durchzuführen, wie nachstehend ausführlicher beschrieben. Zu den Arten von elektronischen Schaltungen können eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Beschleuniger für künstliche Intelligenz (KI) (z. B. ein Vektorprozessor, der vektorarithmetische Logikeinheiten enthalten kann, die konfiguriert sind, um gemeinsame Operationen mit neuronalen Netzen, wie z. B. Punktprodukte und Softmax, effizient durchzuführen), ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC), ein digitaler Signalprozessor (DSP) oder Ähnliches gehören. Zum Beispiel sind unter bestimmten Umständen Aspekte der Ausführungsformen der vorliegenden Offenbarung in Programmanweisungen implementiert, die in einem nichtflüchtigen, computerlesbaren Speicher gespeichert sind, wo sie, wenn sie von der elektronischen Schaltung (z. B. einer CPU, einer GPU, einem KI-Beschleuniger oder Kombinationen davon) ausgeführt werden, die hierin beschriebenen Operationen durchführen, um eine Charakterisierungsausgabe 20 aus Eingangspolarisationsrohbildern 18 zu berechnen. Die von der Verarbeitungsschaltung 100 durchgeführten Operationen können von einer einzelnen elektronischen Schaltung (z. B. einer einzelnen CPU, einer einzelnen GPU o. Ä.) durchgeführt werden oder auf mehrere elektronische Schaltungen (z. B. mehrere GPUs oder eine CPU in Verbindung mit einer GPU) verteilt werden. Die mehreren elektronischen Schaltungen können lokal zueinander sein (z. B. auf demselben Chip, in demselben Gehäuse oder in demselben eingebetteten Gerät oder Computersystem) und/oder können voneinander entfernt sein (z. B. in Kommunikation über ein Netzwerk wie ein lokales persönliches Netzwerk wie Bluetooth®, über ein lokales Netzwerk wie ein lokales drahtgebundenes und/oder drahtloses Netzwerk und/oder über ein Weitverkehrsnetzwerk wie das Internet, z. B. in einem Fall, in dem einige Operationen lokal und andere Operationen auf einem von einem Cloud-Computing-Dienst gehosteten Server durchgeführt werden). Eine oder mehrere elektronische Schaltungen, die die Verarbeitungsschaltung 100 implementieren, können hier als Computer oder Computersystem bezeichnet werden, das einen Speicher enthalten kann, in dem Anweisungen gespeichert sind, die, wenn sie von der einen oder den mehreren elektronischen Schaltungen ausgeführt werden, die hier beschriebenen Systeme und Verfahren implementieren.
Wie in 6A gezeigt, umfasst eine Verarbeitungsschaltung 100 in einigen Ausführungsformen einen Merkmalsextraktor oder ein Merkmalsextraktionssystem 700 und einen Prädiktor 710 (z. B. einen klassischen computerbasierten Seh-Vorhersagealgorithmus und/oder ein trainiertes statistisches Modell wie ein trainiertes neuronales Netzwerk), der konfiguriert ist, um eine Vorhersageausgabe 20 (z. B. eine statistische Vorhersage) in Bezug auf Oberflächenmerkmale von Objekten basierend auf der Ausgabe des Merkmalsextraktionssystems 700 zu berechnen. Verschiedene Ausführungsformen der vorliegenden Offenbarung werden hier im Zusammenhang mit der Oberflächencharakterisierung unter Umständen beschrieben, in denen Oberflächenmerkmale optisch schwierig zu erkennen sind und/oder in denen polarisationsbasierte Bildgebungsverfahren Informationen über die Oberflächennormalität liefern, die sonst nur schwer zu erhalten sind, wobei die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt sind. Beispielsweise können einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf Verfahren zur Charakterisierung der Oberflächen von Objekten angewandt werden, die aus Materialien bestehen oder Oberflächeneigenschaften aufweisen, die optisch schwierig zu erfassen sind, wie z. B. Oberflächen von lichtdurchlässigen Objekten, Objekte, die Mehrwegeffekte induzieren, Objekte, die nicht vollständig oder im Wesentlichen matt oder lambertianisch sind, und/oder sehr dunkle Objekte. Zu diesen optisch schwierigen Objekten gehören Objekte und deren Oberflächeneigenschaften, die mit Hilfe von Bildern, die von Kamerasystemen aufgenommen werden, die nicht auf die Polarisation des Lichts reagieren, schwer aufzulösen oder zu erkennen sind (z. B. auf der Grundlage von Bildern, die von Kameras ohne Polarisationsfilter im optischen Pfad aufgenommen wurden, oder bei denen verschiedene Bilder nicht auf unterschiedlichen Polarisationswinkeln basieren). Diese Oberflächenmerkmale können beispielsweise ein Aussehen oder eine Farbe haben, die den Oberflächen, auf denen die Merkmale auftreten, sehr ähnlich sind (z. B. haben Dellen die gleiche Farbe wie das darunter liegende Material, und Kratzer auf transparenten Materialien wie Glas können ebenfalls im Wesentlichen transparent sein). Auch wenn Ausführungsformen der vorliegenden Offenbarung im Zusammenhang mit der Erkennung von optisch schwierigen Oberflächenmerkmalen beschrieben werden, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt, nur optisch schwierige Oberflächenfehler zu erkennen. In einigen Ausführungsformen ist beispielsweise ein Prädiktor 710 so konfiguriert (z. B. wird ein statistisches Modell unter Verwendung von Trainingsdaten trainiert), dass er sowohl optisch schwierige Oberflächenmerkmale als auch Oberflächenmerkmale erkennt, die ohne Verwendung von Polarisationsinformationen robust detektierbar sind.
Die Polarisation kann zur Erkennung von Oberflächencharakteristiken oder - merkmalen verwendet werden, die bei alleiniger Verwendung von Intensitätsinformationen (z. B. Farbintensitätsinformationen) eine optische Herausforderung darstellen würden. Beispielsweise können mit Hilfe von Polarisationsinformationen Geometrie- und Materialveränderungen an den Oberflächen von Objekten erkannt werden. Materialveränderungen (oder Materialveränderungen), wie z. B. Grenzen zwischen verschiedenen Materialtypen (z. B. ein schwarzes metallisches Objekt auf einer schwarzen Straße oder eine farblose Flüssigkeit auf einer Oberfläche, die beide im Farbraum im Wesentlichen unsichtbar sind, aber im Polarisationsraum entsprechende Polarisationssignaturen aufweisen), können im Polarisationsraum besser sichtbar sein, da Unterschiede in den Brechungsindizes der verschiedenen Materialien Änderungen in der Polarisation des Lichts verursachen. Ebenso verursachen Unterschiede in der Spiegelung verschiedener Materialien unterschiedliche Änderungen des Polarisationsphasen-Drehwinkels, was ebenfalls zu erkennbaren Merkmalen im Polarisationsraum führt, die andernfalls ohne Verwendung eines Polarisationsfilters optisch schwierig zu erkennen wären. Dementsprechend führt dies dazu, dass der Kontrast in Bildern oder Tensoren in Polarisationsdarstellungsräumen erscheint, wo entsprechende Regionen von Tensoren, die im Intensitätsraum berechnet werden (z. B. Farbdarstellungsräume, die die Polarisation des Lichts nicht berücksichtigen), diese Oberflächenmerkmale nicht erfassen können (z. B. wenn diese Oberflächenmerkmale einen geringen Kontrast aufweisen oder in diesen Räumen unsichtbar sind). Beispiele für optisch schwierige Oberflächenmerkmale sind: die besonderen Formen der Oberflächen (z. B. der Grad der Glätte und Abweichungen von idealen oder akzeptablen physikalischen Konstruktionstoleranzen für die Oberflächen); Oberflächenrauhigkeit und Formen der Oberflächenrauhigkeitsmuster (z. B. absichtliche Ätzungen, Kratzer und Kanten in den Oberflächen von transparenten Objekten und bearbeiteten Teilen), Grate und Grate an den Kanten von bearbeiteten Teilen und Formteilen; und ähnliches. Die Polarisierung ist auch nützlich, um Objekte mit identischen Farben, aber unterschiedlichen Materialeigenschaften, wie Streuung oder Brechungsindex, zu erkennen.
Darüber hinaus kann, wie oben beschrieben, die Polarisation verwendet werden, um die Oberflächennormalen von Objekten basierend auf dem Grad der linearen Polarisation (DOLP) p und dem Winkel der linearen Polarisation (AOLP) ϕ zu erhalten, die aus den Polarisationsrohbildern basierend auf z. B. den Gleichungen (2), (3), (4) und (5) berechnet werden. Diese Oberflächennormalen liefern wiederum Informationen über die Form der Oberflächen.
Wie in 6B gezeigt und unter Bezugnahme auf 1B, erfasst die Verarbeitungsschaltung 100 im Verfahrensschritt 610 Polarisationsrohbilder 18 von Oberflächen in einer Szene 1. In einigen Ausführungsformen steuert die Verarbeitungsschaltung 100 beispielsweise eine oder mehrere Polarisationskameras 10 (z. B. eine oder mehrere einzelne Polarisationskameras, die in Polarisationskamera-Arrays und/oder Stereo-Polarisationskamerasystemen organisiert sein können, die mehrere Polarisationskameramodule umfassen), um Polarisationsrohbilder 18 zu erfassen, die eine Oberfläche eines Objekts in einer Szene 1 darstellen.
7A ist ein Blockdiagramm eines Merkmalsextraktors 700 gemäß einer Ausführungsform der vorliegenden Erfindung. 7B ist ein Flussdiagramm, das ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung zur Extraktion von Merkmalen aus Polarisationsrohbildern darstellt. In der in 7A gezeigten Ausführungsform umfasst der Merkmalsextraktor 700 einen Intensitätsextraktor 720, der konfiguriert ist, um ein Intensitätsbild I 52 in einem Intensitätsdarstellungsraum zu extrahieren (z. B. in Übereinstimmung mit Gleichung (7), als ein Beispiel für einen Nicht-Polarisationsdarstellungsraum), und Polarisationsmerkmalsextraktoren 730, die konfiguriert sind, um Merkmale in einem oder mehreren Polarisationsdarstellungsräumen zu extrahieren. In einigen Ausführungsformen der vorliegenden Offenbarung wird der Intensitätsextraktor 720 weggelassen und der Merkmalsextraktor extrahiert kein Intensitätsbild I 52. In der in 7A gezeigten Ausführungsform werden die in den Polarisationsdarstellungsräumen extrahierten Merkmale (z. B. DOLP p und AOLP ϕ) einem Oberflächennormalenberechner 780 zugeführt, um Oberflächennormalen 58 von Objekten in der Szene zu berechnen.
Wie in 7B gezeigt, kann die Extraktion von Polarisationsbildern im Verfahrensschritt 650 das Extrahieren eines ersten Tensors in einem ersten Polarisationsdarstellungsraum aus den Polarisationsrohbildern aus einem ersten Stokes-Vektor im Verfahrensschritt 651 umfassen. Im Verfahrensschritt 652 extrahiert der Merkmalsextraktor 700 ferner einen zweiten Tensor in einem zweiten Polarisationsdarstellungsraum aus den Polarisationsrohbildern. Beispielsweise können die Polarisationsmerkmalsextraktoren 730 einen DOLP-Extraktor 740 umfassen, der konfiguriert ist, um ein DOLP-p-Bild 54 (z. B. ein erstes Polarisationsbild oder einen ersten Tensor gemäß Gleichung (8) mit DOLP als erstem Polarisationsdarstellungsraum) zu extrahieren, und einen AOLP-Extraktor 760, der konfiguriert ist, um ein AOLP-ϕ-Bild 56 (z. B, ein zweites Polarisationsbild oder einen zweiten Tensor gemäß Gleichung (9), mit AOLP als zweitem Polarisationsdarstellungsraum) aus den gelieferten Polarisationsrohbildern 18 zu extrahieren. Darüber hinaus extrahiert das Merkmalsextraktionssystem 700 in verschiedenen Ausführungsformen zwei oder mehr verschiedene Tensoren (z. B. n verschiedene Tensoren) in zwei oder mehr Darstellungsräumen (z. B. n Darstellungsräumen), wobei der n-te Tensor im Verfahrensschritt 614 extrahiert wird. Wie oben beschrieben, extrahieren die Polarisationsmerkmalsextraktoren 730 in einigen Ausführungsformen der vorliegenden Offenbarung Polarisationsmerkmale in Polarisationsdarstellungsräumen, die sowohl lineare Polarisationsdarstellungsräume (z. B. Tensoren in den oben erwähnten AOLP- und DOLP-Darstellungsräumen, die aus Polarisationsrohbildern extrahiert werden, die mit einem linearen Polarisationsfilter erfasst wurden) als auch zirkulare Polarisationsdarstellungsräume (z. B. Tensoren, die aus Polarisationsrohbildern extrahiert werden, die mit einem zirkularen Polarisationsfilter erfasst wurden) umfassen. In verschiedenen Ausführungsformen umfassen die Darstellungsräume Polarisationsdarstellungsräume, sind aber nicht auf diese beschränkt.
Die Polarisationsdarstellungsräume können Kombinationen von Polarisationsrohbildern in Übereinstimmung mit Stokes-Vektoren umfassen. Als weitere Beispiele können die Polarisationsdarstellungen Modifikationen oder Transformationen von Polarisationsrohbildern in Übereinstimmung mit einem oder mehreren Bildverarbeitungsfiltern (z. B. einem Filter zur Erhöhung des Bildkontrasts oder einem Entrauschungsfilter) umfassen. Die Merkmalskarten 52, 54 und 56 in ersten Polarisationsdarstellungsräumen können dann einem Prädiktor 750 zugeführt werden, um Oberflächenmerkmale basierend auf den Merkmalskarten 50 zu erfassen.
Während 7B einen Fall illustriert, in dem zwei oder mehr verschiedene Tensoren aus den Polarisationsrohbildern 18 in mehr als zwei verschiedenen Darstellungsräumen extrahiert werden, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. Zum Beispiel wird in einigen Ausführungsformen der vorliegenden Offenbarung genau ein Tensor in einem Polarisationsdarstellungsraum aus den Polarisationsrohbildern 18 extrahiert. Beispielsweise ist ein Polarisationsdarstellungsraum von Rohbildern AOLP ϕ und ein anderer ist DOLP p (z. B. kann in einigen Anwendungen AOLP für die Erkennung von Oberflächenmerkmalen transparenter Objekte oder von Oberflächenmerkmalen anderer optisch schwieriger Objekte, wie durchscheinende, nicht lambertianische, mehrweginduzierende und/oder nicht reflektierende Objekte, ausreichend sein).
Darüber hinaus werden, wie oben in Bezug auf 7A erläutert, in einigen Ausführungsformen der vorliegenden Offenbarung ein oder mehrere Merkmalsvektoren basierend auf aus anderen Darstellungsräumen berechneten Merkmalen berechnet. In dem in 7A gezeigten Beispiel berechnet der Oberflächennormalen-Rechner 780 die Oberflächennormalen von Oberflächen in der abgebildeten Szene 1 im Oberflächennormalen-Raum (z. B. Azimutwinkel 9_a und Zenitwinkel θ_z) basierend auf den berechneten Tensoren AOLP ϕ und DOLP p. In einigen Ausführungsformen werden die Oberflächennormalen mit kartesischen Koordinaten kodiert (z. B. ein dreidimensionaler Vektor, der die Richtung der Oberflächennormalen angibt). Die berechneten Oberflächennormalen 58 können zu den Merkmalen 50 gehören, die durch den Merkmalsextraktor 700 extrahiert werden.
Dementsprechend werden durch die Extraktion von Merkmalen wie Polarisationsmerkmalen, Polarisationsbildern und/oder Oberflächennormalen aus Polarisationsrohbildern 18 erste Tensoren 50 erzeugt, aus denen optisch schwierige Oberflächencharakteristiken aus Bildern von Oberflächen der zu untersuchenden Objekte erfasst werden können. In einigen Ausführungsformen können die vom Merkmalsextraktor 700 extrahierten ersten Tensoren explizit abgeleitete Merkmale sein (z. B. handgefertigt von einem menschlichen Designer), die sich auf zugrundeliegende physikalische Phänomene beziehen, die in den Polarisationsrohbildern gezeigt werden können (z. B. die Berechnung von AOLP- und DOLP-Bildern in linearen Polarisationsräumen und die Berechnung von Tensoren in zirkularen Polarisationsräumen, wie oben beschrieben). In einigen zusätzlichen Ausführungsformen der vorliegenden Offenbarung extrahiert der Merkmalsextraktor 700 andere Nicht-Polarisations-Merkmalskarten oder Nicht-Polarisationsbilder, wie Intensitätskarten für verschiedene Lichtfarben (z. B. rotes, grünes und blaues Licht) und Transformationen der Intensitätskarten (z. B. Anwendung von Bildverarbeitungsfiltern auf die Intensitätskarten). In einigen Ausführungsformen der vorliegenden Offenbarung kann der Merkmalsextraktor 700 konfiguriert sein, um ein oder mehrere Merkmale zu extrahieren, die automatisch erlernt werden (z. B. Merkmale, die nicht manuell von einem Menschen festgelegt werden), und zwar durch einen durchgängig überwachten Trainingsprozess basierend auf markierten Trainingsdaten. In einigen Ausführungsformen können diese gelernten Merkmalsextraktoren tiefe faltende neuronale Netze umfassen, die in Verbindung mit herkömmlichen computerbasierten Seh-Filtern verwendet werden können (z. B. eine Haar-Wavelet-Transformation, ein Canny-Kantendetektor, ein Tiefe-vom-Stereo-Rechner durch Block-Matching und dergleichen).
Erweiterung der 3-D-Oberflächenrekonstruktion mit Polarisationsbildgebung
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Wiederherstellung von qualitativ hochwertigen Rekonstruktionen von geschlossenen Objekten. In einigen Ausführungsformen der vorliegenden Offenbarung wird die Oberflächenrekonstruktion in Verbindung mit hochwertigen dreidimensionalen (3-D) Modellen der Objekte verwendet, z. B. mit CAD-Modellen der zu scannenden Objekte, um Unklarheiten zu beseitigen, die sich aus einem polarisationsbasierten Bildgebungsverfahren ergeben. In früheren Versuchen wurden Methoden für unbekannte Geometrien entwickelt, ohne Zugang zu CAD-Modellen zu haben.
Das Erfassen einer qualitativ hochwertigen 3-D-Rekonstruktion eines physischen Objekts, für das bereits ein qualitativ hochwertiges 3-D-Computermodell existiert, ist in einer Vielzahl von Kontexten wichtig, wie z. B. bei der Qualitätskontrolle in der Fertigung und/oder Herstellung von Objekten. Im Falle der additiven Fertigung oder des 3D-Drucks kann ein Konstrukteur beispielsweise ein 3D-Modell eines Objekts erstellen und das 3D-Modell einem 3D-Drucker zur Verfügung stellen, der ein physisches Objekt basierend auf dem 3D-Modell herstellt. Während oder nach dem 3-D-Druckprozess kann das vom 3-D-Drucker hergestellte physische Objekt mit einem Stereo-Polarisationskamerasystem gemäß einigen Ausführungsformen der vorliegenden Offenbarung gescannt werden, und die erfassten Polarisationsdaten können zur Unterstützung der 3-D-Rekonstruktion der Oberflächen des physischen Objekts verwendet werden. Diese 3-D-Rekonstruktion kann dann in einer Software mit dem entworfenen 3-D-Modell verglichen werden, um Fehler im 3-D-Druckprozess zu erkennen. Ähnliche Techniken können auch bei anderen Herstellungsverfahren angewandt werden, z. B. zur Erstellung von 3-D-Rekonstruktionen der Formen von Objekten, die durch andere Herstellungsverfahren wie Spritzguss, Druckguss, Biegen usw. erzeugt werden.
Als ein Beispiel wird ein Stereo-Polarisationskamerasystem, wie das oben in Bezug auf 1D beschriebene, verwendet, um ein Objekt abzubilden, das in 3-D rekonstruiert werden soll, z. B. um ein 3-D-Modell des Objekts automatisch aus den erfassten Polarisationsrohbildern zu erstellen. Die Oberfläche des Objekts kann aufgrund praktischer Fertigungsbeschränkungen und/oder aufgrund von Mängeln im Fertigungsprozess spärliche Unregelmäßigkeiten aufweisen und ist möglicherweise nicht ideal glatt. Diese Unregelmäßigkeiten können als Hochfrequenzschwankungen auf der Oberfläche erscheinen. Hochfrequenzschwankungen (HFV) treten in 3 Fällen auf:
Erstens könnte es Bereiche auf der Oberfläche des Objekts geben, die gültige Hochfrequenzvariationen aufweisen (z. B. entworfen und beabsichtigt, vorhanden zu sein). Beispielsweise können bei der Nachbildung einer griechischen Büste oder Statue Details in der Nähe der Augen und Haare des gescannten 3-D-Modells auch im hochwertigen 3-D-Modell vorhanden sein, das zur Herstellung des physischen Objekts verwendet wurde.
Zweitens kann es Bereiche auf der Objektoberfläche geben, die aufgrund von Fehlern, Defekten oder anderen Beschädigungen der Oberfläche hochfrequente Abweichungen aufweisen. Im Falle des 3D-Drucks oder der additiven Fertigung können beispielsweise aufgrund des schichtweisen Fertigungsprozesses hochfrequente Muster entstehen, die den Oberflächen des Objekts ein „verwaschenes“ Aussehen verleihen. Ein anderes Beispiel ist ein Spritzgussverfahren, bei dem an den Stellen, an denen die beiden Teile der Form aneinanderstoßen, Nähte oder Grate im produzierten Objekt entstehen können. Diese Details werden in dem hochwertigen 3D-Modell nicht wiedergegeben.
Drittens können Kombinationen der ersten und der zweiten Form von Hochfrequenzvariationen in unmittelbarer Nähe zueinander auftreten (z. B. kann ein Grat in der Nähe der Haare der Büstenreplik auftreten, wodurch zusätzliche Linien in den Haaren entstehen).
Hochfrequenzschwankungen aufgrund von Details sind am realen Objekt erwünscht, HFVs aufgrund von Unregelmäßigkeiten dagegen nicht. Es ist jedoch wichtig, beide Arten von HFVs in der 3D-Rekonstruktion für die Zwecke der Inspektion und Profilometrie wiederherstellen zu können. Während einige dieser HFV-Details sowie Unregelmäßigkeiten von einem handelsüblichen 3D-Scanner möglicherweise nicht wiederhergestellt werden können (aufgrund der schlechten Auflösung, die sich aus Quantisierungsfehlern und anderen Rauschquellen ergibt), können Ausführungsformen der vorliegenden Offenbarung diese Fälle behandeln, wie im Folgenden näher erläutert wird. Einige beispielhafte Implementierungen können ein zusätzliches strukturiertes Beleuchtungsprojektorgerät verwenden, um das Objekt zu beleuchten, wenn das Objekt keine visuellen Merkmale aufweist. Einige Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Verwendung von passiver Beleuchtung (z. B. basierend auf der Umgebungsbeleuchtung in der Szene).
8A ist eine Illustration einer griechischen Büste, die von einer beispielhaften Implementierung der in dieser Erfindung vorgeschlagenen Bildgebungseinrichtung gescannt wird. Drei Typen von HFV-Details (801A: erwünschte Details wie Haare und Augen; 801B: unerwünschte Flecken und Defekte in der Nähe der Wangen und der Nase; und 801C: eine Kombination der Fälle A und B in unmittelbarer Nähe zueinander) sind vermerkt. Diese HFVs können mit Standard-3D-Bildgebungsverfahren nicht wiederhergestellt werden. Aspekte der Ausführungsformen der vorliegenden Erfindung beziehen sich auf die Behandlung all dieser Fälle. 8B ist ein Flussdiagramm eines Verfahrens zur 3D-Oberflächenrekonstruktion unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
In einigen Ausführungsformen der vorliegenden Offenbarung werden im Verfahrensschritt 810 Polarisationsrohbilder 18 von einem Objekt aus mehreren Blickpunkten aufgenommen, z. B. mit einem Stereo-Polarisationskamerasystem, wie oben in Bezug auf 1D beschrieben. Aus jedem der aufgenommenen Rohbilder kann ein Satz von vier separaten Polarisationswinkelbildern (0, 45, 90, 135) extrahiert werden. Diese können als P_C1 und P_C2 bezeichnet werden. In beispielhaften Implementierungen dieses Aufbaus können die Kameras in Standard-Stereokonfigurationen (optische Achsen parallel zueinander) oder in anderen Konfigurationen (z. B. wenn sich die optischen Achsen schneiden) untergebracht sein.
Im Verfahrensschritt 820 können Grad und Winkel der linearen Polarisation (DOLP p und AOLP ϕ) aus der Stokes-Vektorformulierung für beide Kameras unter Verwendung von PC1 und P_C2 wie oben beschrieben berechnet werden. Diese können als ρ_C1, ϕ_C1, ρ_C2 und ϕ_C2 bezeichnet werden. Oberflächennormalen (z. B. Zenit θ_z und Azimut θ_a) können aus der Polarisation unter Verwendung der Form aus der Polarisation (SFP) mit DOLP ρ und AOLP ϕ erhalten werden, wie oben in Bezug auf die Gleichungen (2), (3), (4) und (5) für beide Kameras C1 und C2 (z. B. basierend auf Polarisations-Rohbildern P_C1 und P_C2) beschrieben. Diese Oberflächennormalen aus den beiden Blickpunkten können als N_PolC1 und N_PolC2 bezeichnet werden.
Diese Oberflächennormalen leiden jedoch unter der azimutalen θ_a Mehrdeutigkeit um einen Winkel von π, die durch Verwendung des CAD-Referenzmodells als Einschränkung (z. B. durch Auswahl des azimutalen Winkels θ_a, der zu einer Oberfläche führt, die den geringeren Abstand oder Fehler in Bezug auf das Referenzmodell aufweist) disambiguiert und korrigiert werden kann. Dementsprechend kann niederfrequentes Rauschen (z. B. Mehrdeutigkeit durch einen Winkel von π) mit Hilfe des Referenzmodells aufgelöst werden.
Je nachdem, ob das Objekt dielektrisch oder nicht dielektrisch ist (unter Berücksichtigung der Stärke von DOLP), kann ein geeignetes DOLP-Berechnungsmodell verwendet werden, um den Zenitwinkel wie oben beschrieben zu schätzen. In einigen Ausführungsformen kann davon ausgegangen werden, dass das Material ein Dielektrikum mit einem Brechungsindex von 1,5 ist, da der Brechungsindex von Dielektrika typischerweise im Bereich [1,3; 1,6] liegt und diese Variation eine vernachlässigbare Änderung des DOLP p verursacht. In Fällen, in denen das Material nicht dielektrisch ist, würde die Genauigkeit des geschätzten Zenitwinkels unter Brechungsfehlern leiden. Der Brechungsfehler im Zenit ist ein niederfrequentes Phänomen und kann daher ebenfalls korrigiert werden, indem das Referenzmodell als Grundlage für die Auflösung des Brechungsfehlers verwendet wird.
Die Normalen N_PolC1 und N_PolC2 können beide unabhängig voneinander über einen Stichprobenraum (Ω) integriert werden, um die gesamte Oberfläche des Objekts oder einen Bereich der Oberfläche des Objekts wiederherzustellen (z. B. geben die Oberflächennormalen die Neigung der Oberflächen des Objekts an, so dass die Integration über die Neigungen unter Berücksichtigung der Richtung der Normalen gegenüber der orthogonalen Richtung der Neigung die zugrunde liegende Form des Objekts wiederherstellt). Die aus einer solchen Integration gewonnene Oberfläche sollte mit der durch das CAD-Referenzmodell vorgegebenen Form übereinstimmen. Unterschiede zwischen der aus der Integration gewonnenen Oberfläche und dem Referenzmodell können auf fehlerhafte Teile des physischen Objekts hinweisen.
Zusätzlich zur ausschließlichen Verwendung des CAD-Modells zum Auflösen von Mehrdeutigkeiten und Fehlern bei der 3D-Rekonstruktion basierend auf Polarisationsdaten von einer Polarisationskamera (oder einem Polarisationskamera-Array) beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf die weitere Verbesserung der Qualität der 3D-Rekonstruktion durch Erzwingen der Konsistenz der Blickpunkte zwischen den Kameras des Stereo-Polarisationskamerasystems.
Dementsprechend beziehen sich einige Ausführungsformen der vorliegenden Offenbarung auf die Berechnung der geschätzten Oberflächennormalen, wie oben beschrieben, durch den in 8B gezeigten Verfahrensschritt 830, während sich einige Ausführungsformen der vorliegenden Offenbarung auf die weitere Verfeinerung der geschätzten Oberflächennormalen beziehen. Noch immer Bezug nehmend auf 8B wird im Verfahrensschritt 840 das hochwertige CAD-Referenzmodell an der Orientierung des physischen Objekts ausgerichtet, basierend auf visuellen Schlüsselpunkten, die auf dem Objekt in den Polarisationsrohbildern geschätzt werden, die von den beiden Kameras P_C1 und P_C2 erfasst wurden. Diese Schlüsselpunkte werden mit demselben Satz von Schlüsselpunkten im CAD-Referenzmodell korreliert, um die Pose des Objekts mit sechs Freiheitsgraden (6DoF) in Bezug auf die Kameras mithilfe von Perspective-N-Point (PnP) zu erhalten (siehe z. B. Fischler, M. A.; Bolles, R. C. (1981). „Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography“. Communications of the ACM. 24 (6): 381-395.) und/oder Random Sample Consensus (RANSAC). Die Verwendung mehrerer registrierter Kameras mit unterschiedlichen Blickpunkten ermöglicht eine genauere Posenrekonstruktion als die Verwendung einer einzigen Kamera mit einem einzigen Blickpunkt, obwohl Ausführungsformen der vorliegenden Offenbarung darauf nicht beschränkt sind und auch PnP mit einem Blickpunkt verwendet werden kann. Das CAD-Referenzmodell kann in die Kameraräume transformiert werden, die den verschiedenen Kameramodulen des Stereokamerasystems entsprechen (z. B. durch Transformation der Pose des CAD-Referenzmodells in die Pose des tatsächlichen physischen Objekts in Bezug auf das Kamerasystem), wodurch das Referenzmodell an das physische Objekt angepasst wird. Im Falle von zwei Kameras kann dies als CAD_C1 und CAD_C2 bezeichnet werden. Aus CAD_C1 und CAD_C2 werden dann Oberflächennormalen extrahiert (z. B. basierend auf den Ausrichtungen der Oberflächen in Bezug auf die virtuellen Kameras, die den Kameramodulen des Stereokamerasystems entsprechen). Diese Referenzflächennormalen können als N_CADC1 und N_CADC2 bezeichnet werden.
Das transformierte CAD-Referenzmodell kann dann als Orientierungshilfe zur Korrektur der hochfrequenten azimutalen π-Mehrdeutigkeit sowie des niederfrequenten Skalierungsfehlers im Zenit aufgrund der refraktiven Verzerrung verwendet werden. Die korrigierten Normalen sind aufgrund von Mehrbild-PnP zwischen den beiden Kameras konsistent, was diesen Ansatz robuster macht. Genauer gesagt werden im Verfahrensschritt 850 die geschätzten Normalen N_PolC1 und N_PolC2, die (im Verfahrensschritt 830) aus den Polarisationsrohbildern P_C1 und P_C2 der beiden Kameras berechnet wurden, anschließend korrigiert, um korrigierte Normalen Corrected_N_PolC1 und Corrected_N_PolC2 zu berechnen. Die relativen Posen zwischen den korrigierten Normalen sollten mit der relativen Pose zwischen den Kameras (N_CADC1 und N_CADC2) konsistent sein. Dadurch werden zusätzliche Beschränkungen für die Konsistenz der Pose auferlegt, wodurch die SFP-Normalenkorrektur im Allgemeinen robuster wird, insbesondere im Fall von fronto-parallelen Facetten, bei denen der Zenit θ_z nahe bei 0° (oder 0 Radiant) liegt und die aufgrund der geringen Stärke des DOLP p entlang der Blickrichtung tendenziell verrauschte geschätzte Normalen aufweisen. Es ist jedoch weniger wahrscheinlich, dass eine bestimmte Facette frontal-parallel zu den beiden Kameramodulen eines Stereo-Polarisationskamerasystems liegt, da der Abstand (oder die Basislinie) zwischen den Kameramodulen gegeben ist. Dementsprechend können Regionen mit höherem DOLP-Wert ausgewählt werden, um eine robustere Oberflächennormale für Oberflächen zu erhalten, die zu einer Teilmenge der Kameramodule frontparallel sind.
Unter bestimmten Umständen verursacht die Spiegelung Probleme bei der Oberflächenrekonstruktion, da die Information über die Oberflächentextur aufgrund der Übersättigung der Bildintensität verloren geht. Dies führt dazu, dass die geschätzten Normalen auf einem spiegelnden Fleck stark verrauscht sind. Gemäß einigen Ausführungsformen der vorliegenden Offenbarung umfasst das Polarisationskamerasystem mehrere Kameras (z. B. zwei oder mehr), die überlappende Bereiche der Szene von mehreren Blickpunkten aus betrachten (z. B. ein Stereo-Polarisationskamerasystem), die durch eine Grundlinie voneinander getrennt sind. Der Glanz ist im Allgemeinen ein stark vom Blickpunkt abhängiges Problem. Das heißt, es ist weniger wahrscheinlich, dass die Spiegelung von allen Kameras in einer Anordnung wie der in 1D gezeigten beobachtet wird, in der verschiedene Kameras verschiedene Blickpunkte auf die Oberflächen eines Objekts haben.
Im Detail beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf die automatische Wiederherstellung robuster Oberflächennormalen, selbst bei stark spiegelnden Materialien, durch Abbildung der Oberflächen von mehreren Blickpunkten aus. Unter den meisten Beleuchtungsbedingungen ist es sehr unwahrscheinlich, dass ein bestimmter Bereich einer Oberfläche für alle Kameras in einem Stereo-Mehrblick-Kamerasystem spiegelnd erscheint.
Dementsprechend kann in einigen Ausführungsformen der vorliegenden Offenbarung ein Abstimmungsmechanismus verwendet werden, um Normalen von einem spiegelnden Fleck, der von einer bestimmten Kamera beobachtet wird, abzulehnen, während die Normalen von den anderen Kameras für den bestimmten Fleck ausgewählt werden, die mit größerer Wahrscheinlichkeit sowohl miteinander als auch mit dem CAD-Modell übereinstimmen. Beispielsweise können die Oberflächennormalen basierend auf den Polarisationsrohbildern berechnet werden, die von jedem der Polarisationskameramodule in der Stereo-Polarisationskameraanordnung erfasst wurden. Wenn die Oberflächennormalen, die basierend auf den Polarisationsrohbildern berechnet werden, in hohem Maße miteinander inkonsistent sind (z. B. mehr als ein Schwellenwert für den Winkelabstand), dann werden die berechneten Oberflächennormalen, die den Oberflächennormalen des Referenzmodells am nächsten liegen, als die korrekten Werte angenommen.
In anderen Ausführungsformen der vorliegenden Offenbarung können spiegelnde Flecken automatisch erkannt werden, indem gesättigte Pixel in den Polarisationsrohbildern identifiziert werden. Die Sättigung der Pixel deutet darauf hin, dass der betreffende Fleck möglicherweise spiegelnd ist und daher die Informationen in diesem Bereich ungenau sein können.
In noch anderen Ausführungsformen der vorliegenden Offenbarung umfasst das Stereokamerasystem mehr als zwei Polarisationskameramodule (z. B. drei oder mehr Polarisationskameramodule), die die Oberflächen der Objekte aus verschiedenen Blickpunkten aufnehmen. Dementsprechend kann ein Abstimmungsmechanismus verwendet werden, bei dem die Oberflächennormalen, die basierend auf den von den verschiedenen Kameras erfassten Polarisationsrohbildern berechnet werden, basierend auf der Ähnlichkeit geclustert werden (nachdem die Oberflächennormalen so transformiert wurden, dass sie einem gleichen Bezugsrahmen entsprechen, wie z. B. einem der Polarisationskameramodule). Da es unwahrscheinlich ist, dass die meisten Polarisationskameramodule Spiegelungen beobachten, sollten die meisten der berechneten Normalen innerhalb eines Fehlerbereichs konsistent sein. Dementsprechend kann der Clustering-Prozess Ausreißer in den berechneten Oberflächennormalen identifizieren, die durch spiegelnde Artefakte verursacht werden.
Eine Pseudocode-Beschreibung eines Algorithmus für die Korrektur von Normalen basierend auf der Abstimmung mit einem CAD-Referenzmodell wird im Folgenden ausführlicher dargestellt. Als Schreibweise:

N_P_C1 - Form-aus-Polarisation (SFP) Normalen in Kamera 1
N_P_C2 - SFP-Normalen in Kamera 2
N_CAD_C1 - Normalen im CAD-Referenzmodell, ausgerichtet an der Objektpose in Bezug auf Kamera 1
N_CAD_C2 - Normalen im CAD-Referenzmodell, ausgerichtet an der Objektpose in Bezug auf Kamera 2
Trans_C2_C1 - Pose von Kamera 2 in Bezug auf Kamera 1, erhalten durch extrinsische und intrinsische Kamerakalibrierung (z. B. bestimmt durch Bildkalibrierungsziele, die sowohl für Kamera 1 als auch für Kamera 2 sichtbar sind)
Trans_CAD_C1 - Transformation, die verwendet wird, um das CAD-Referenzmodell mit dem Objekt im Bildraum von Kamera 1 auszurichten, erhalten durch Multiview-PnP
Trans_CAD_C2 - Transformation, die verwendet wird, um das CAD-Referenzmodell mit dem Objekt im Bildraum von Kamera 2 auszurichten, das durch Multiview PnP erhalten wurde

(~) - Konsistenzoperator
Der Konsistenzoperator (~) kann als eine Abstandsmetrik (z.B. eine auf Cosinusähnlichkeit basierende Winkeldistanzmetrik) modelliert werden, die zwischen den auf Konsistenz verglichenen Normalen berechnet wird. Wenn der Winkelabstand kleiner als ein Schwellenwert ist, sind die verglichenen Normalen miteinander konsistent, andernfalls nicht (!~). Die zu vergleichenden Normalen werden in denselben Koordinatensatz transformiert (in diesem Fall in den Master-Kamera- oder Kamera 1-Bildraum), wobei die oben aufgeführten Transformationen verwendet werden, bevor der Konsistenzoperator (~) angewendet wird.
Pseudocode-Implementierung der Abstimmung basierend auf dem vorherigen CAD-Referenzmodell:
Für jede Pixelnormale in N_P_C1 (Master-Kamera-Bildraum, in diesem Fall Kamera 1):
In einigen Ausführungsformen der vorliegenden Offenbarung werden die korrigierten Oberflächennormalen Corrected_N_(Pol_C1) und Corrected_N_(Pol_C2) über den Abtastraum (Ω) integriert, um eine 3-D-Rekonstruktion des vom Stereo-Polarisationskamerasystem abgebildeten Objekts zu erstellen.
Während sich die oben beschriebenen Ausführungsformen auf die 3D-Rekonstruktion von 3D-Objekten basierend auf einem hochwertigen 3D-Modell, wie z. B. einem CAD-Konstruktionsmodell, beziehen, beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auch auf die 3D-Rekonstruktion von allgemein flachen Oberflächen oder Oberflächen mit bekannter, einfacher Geometrie unter Verwendung eines polarisierten Mehrblick-Kamerasystems, wie es in 1E gezeigt ist. Der Fall der einfachen Geometrie kann sich auf Umstände beziehen, in denen die zu analysierenden Objekte unbekannt sind, aber beispielsweise durch flache Ebenen, Kugeln und andere einfache parametrische Kurven mit bekannter Geometrie angenähert werden können. Flache Ebenen können z. B. für viele Oberflächen in der Umgebung eines selbstfahrenden Fahrzeugs verwendet werden, wie z. B. die Oberfläche einer Straße, aber auch Wände und Schilder. Darüber hinaus können je nach der für eine bestimmte Anwendung erforderlichen Auflösung und/oder Genauigkeit viele Oberflächen als lokal flach angenähert werden.
9A zeigt eine flache Oberfläche mit dem Brechungsindex n, die mit einer beispielhaften Implementierung der Bildgebungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung abgetastet wird. Für bestimmte Anwendungen in der Profilometrie und Inspektion wird diese Oberfläche auf ihre Glätte untersucht. Im Idealfall sollte diese Oberfläche glatt sein. In der Praxis können aufgrund von Defekten/Verschleiß vereinzelte Unregelmäßigkeiten 901 an zufälligen Stellen auf dieser ansonsten ebenen Oberfläche 902 auftreten. Diese Unregelmäßigkeiten manifestieren sich als HFV-Details (High-Frequency-Variation), die mit Standard-3D-Bildgebungsverfahren aufgrund von Rauschen und schlechter Auflösung nicht wiederhergestellt werden können. Die Ausführungsformen der vorliegenden Erfindung sind jedoch in der Lage, diese HFV-Unregelmäßigkeiten wiederherzustellen, indem sie die Polarisation in Verbindung mit der Ebenheit und den Beschränkungen durch mehrere Ansichten nutzen.
Dementsprechend beziehen sich einige Ausführungsformen der vorliegenden Offenbarung auf das Erfassen zufälliger, spärlicher Unregelmäßigkeiten auf einer ansonsten im Wesentlichen glatten Oberfläche (z. B. einer im Wesentlichen ebenen Oberfläche). Als motivierendes Beispiel können Ausführungsformen der vorliegenden Offenbarung verwendet werden, um Schlaglöcher in einer Straße mit einem Stereo-Polarisationskamerasystem zu erfassen, so dass ein selbstfahrendes Fahrzeug diese Schlaglöcher vermeiden kann, was aufgrund der Verkehrsbedingungen sinnvoll ist. Als weiteres motivierendes Beispiel können Ausführungsformen der vorliegenden Offenbarung verwendet werden, um Oberflächendefekte in Oberflächen mit allgemein einfacher Geometrie zu erfassen, wie z. B. das Erfassen von Oberflächenunregelmäßigkeiten in der Glätte einer Glasscheibe oder in einem Metallblech.
In einigen Ausführungsformen der vorliegenden Offenbarung kann ein Multiview-Polarisationskamerasystem außerdem einen strukturierten Lichtprojektor 903 umfassen, der konfiguriert ist, um gemustertes Licht auf eine Szene zu projizieren, um eine zusätzliche detektierbare Oberflächentextur für die Tiefe von Stereoprozessen bereitzustellen, die zwischen den Ansichten abgeglichen werden (z. B. unter Verwendung von Blockabgleich), um Parallaxenverschiebungen zu messen. In einigen Fällen ist der Projektor für strukturiertes Licht konfiguriert, um Infrarotlicht zu projizieren, und das Kamerasystem umfasst Kameras, die konfiguriert sind, um Infrarotlicht zusammen mit Licht in anderen Spektralbändern zu erfassen. Jede nachfolgende Analyse der Oberflächen kann dann basierend auf den in den anderen Spektralbereichen gesammelten Daten durchgeführt werden, so dass das projizierte Muster nicht versehentlich als Defekt in der Oberfläche des Materials erkannt wird.
9B ist ein Flussdiagramm eines Verfahrens 900 zur 3D-Oberflächenrekonstruktion von flachen oder geometrisch einfachen Oberflächen unter Verwendung von Polarisation gemäß einer Ausführungsform der vorliegenden Offenbarung.
In ähnlicher Weise wie oben beschrieben, werden in einigen Ausführungsformen der vorliegenden Offenbarung im Verfahrensschritt 910 Polarisationsrohbilder 18 von einer Szene (z. B. einschließlich im Wesentlichen flacher oder glatter Oberflächen) aus mehreren Blickpunkten erfasst, beispielsweise mit einem Stereo-Polarisationskamerasystem, wie oben in Bezug auf 1D beschrieben. Aus jedem der aufgenommenen Rohbilder kann ein Satz von vier separaten Polarwinkelbildern (0, 45, 90, 135) extrahiert werden. Diese können als P_C1 und P_C2 bezeichnet werden. In beispielhaften Implementierungen dieses Aufbaus können die Kameras in Standard-Stereokonfigurationen (optische Achsen parallel zueinander) oder in anderen Konfigurationen (z. B. wenn sich die optischen Achsen schneiden) untergebracht sein.
Im Verfahrensschritt 920 können Grad und Winkel der linearen Polarisation (DOLP p und AOLP ϕ aus der Stokes-Vektorformulierung für beide Kameras unter Verwendung von PC₁ und P_C2 wie oben beschrieben berechnet werden. Diese können als ρ_C1, ϕC1, ρ_C2 und ϕ_C2 bezeichnet werden.
Im Verfahrensschritt 930 können Oberflächennormalen (z. B. Zenit θ_z und Azimut θ_a) aus der Polarisation mittels Form aus Polarisation (SFP) unter Verwendung von DOLP p und AOLP ϕ, wie oben in Bezug auf die Gleichungen (2), (3), (4) und (5) für beide Kameras C1 und C2 (z. B. auf der Grundlage von Polarisations-Rohbildern P_C1 und P_C2) beschrieben, erhalten werden. Abhängig davon, ob das Objekt dielektrisch oder nicht dielektrisch ist (unter Berücksichtigung der Stärke von DOLP), kann ein geeignetes DOLP-Berechnungsmodell verwendet werden, um den Zenitwinkel wie oben beschrieben zu schätzen. In einigen Ausführungsformen kann angenommen werden, dass das Material ein Dielektrikum mit einem Brechungsindex von 1,5 ist, da der Brechungsindex von Dielektrika typischerweise im Bereich [1,3; 1,6] liegt und diese Variation eine vernachlässigbare Änderung des DOLP p verursacht. In Fällen, in denen das Material nicht dielektrisch ist, würde die Genauigkeit des geschätzten Zenitwinkels unter der Brechungsverzerrung leiden.
Diese Oberflächennormalen aus den beiden Blickpunkten können als N_PolC1 und N_PolC2 bezeichnet werden. Diese Oberflächennormalen leiden jedoch unter der azimutalen θ_a-Mehrdeutigkeit um einen Winkel von π, die durch die Verwendung der Grobtiefenkarte als Einschränkung (z. B. durch Auswahl des azimutalen Winkels θ_a, der zu einer Oberfläche führt, die den kleineren Abstand oder Fehler in Bezug auf das Referenzmodell aufweist) disambiguiert und korrigiert werden kann. Dementsprechend kann niederfrequentes Rauschen (z. B. Mehrdeutigkeit durch einen Winkel von π) unter Verwendung der Grobtiefenkarte aufgelöst werden, die aus der Stereoansicht der Szene erstellt wurde.
Darüber hinaus wird im Verfahrensschritt 940 eine Grobtiefenkarte (CDM) basierend auf der Parallaxenverschiebung zwischen den Kamerapaaren im Stereo-Polarisationskamerasystem berechnet, basierend auf Tiefe-von-Stereo-Ansätzen (z. B. wo größere Parallaxenverschiebungen Oberflächen anzeigen, die sich näher am Kamerasystem befinden, und kleinere Parallaxenverschiebungen Oberflächen anzeigen, die weiter entfernt sind). Wie bereits erwähnt, enthält das Stereo-Polarisationskamerasystem in einigen Ausführungsformen ein Beleuchtungssystem mit strukturiertem Licht, das die Übereinstimmung der entsprechenden Bildbereiche verbessern kann, wenn die Oberflächen keine intrinsische Textur oder andere visuelle Merkmale aufweisen. Im Verfahrensschritt 940 wird die berechnete Grobtiefenkarte auch an den Bildräumen ausgerichtet, die den Blickpunkten C1 und C2 entsprechen (z. B. unter Verwendung der relativen Pose und der extrinsischen Matrizen aus der Kamerakalibrierung), wobei die Grobtiefenkarten, die diesen Bildräumen entsprechen, als CDM_C1 und CDM_C2 bezeichnet werden.
Im Verfahrensschritt 950 werden die geschätzten Normalen N_PolC1 und N_PolC2 basierend auf den Normalen korrigiert, die aus dem CDM N_CDMC1 und N_CDMC2 erhalten werden, um die korrigierten Oberflächennormalen Corrected _N_PolC1 und Corrected_N_PolC2 zu berechnen. In einigen Ausführungsformen der vorliegenden Offenbarung werden diese Normalen aus dem CDM unter Verwendung der in Kadambi, A. [et al.], Polarized 3D: High-Quality Depth Sensing with Polarization Cues, 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2015, S. 3370-3378, doi: 10.1109/ICCV.2015.385. (siehe oben) beschriebenen Methode der ebenen Hauptkomponente berechnet. In einigen Ausführungsformen werden die aus dem CDM, N_CDMC1 und N_CDMC2 berechneten Normalen als Orientierungshilfe verwendet, um hochfrequente azimutale Mehrdeutigkeit sowie Brechungsfehler-Zenit-Verzerrung in N_PolC1 zu korrigieren, wobei die Konsistenz zwischen mehreren Ansichten mit der Kamera P_C2 gemeinsam berücksichtigt wird. Diese korrigierten Normalen sind auch robuster als die sonst verrauschten SFP-Normalen im Falle von frontal-parallelen Facetten sowie von Spiegelungen, wie oben beschrieben. In einigen Ausführungsformen wird auch die Ebenheitspriorität der Oberfläche (oder eine andere einfache geometrische Form der Oberfläche) zur weiteren Verfeinerung der Zenitverzerrung verwendet. Insbesondere sollten die geschätzten Normalen N_PolC1 und N_PolC2 im Allgemeinen flach sein, und daher sollten die Normalen der wiederhergestellten Oberfläche (abgesehen von Bereichen mit lokalen Oberflächenunregelmäßigkeiten) in jeder der Kameras ungefähr 90 Grad und parallel zueinander sein. In einigen Ausführungsformen der vorliegenden Offenbarung wird ein Abstimmungsschema verwendet, um die Korrektur der Normalen durchzuführen.
Im Folgenden wird eine Pseudocode-Beschreibung eines Algorithmus für die Korrektur von Normalen basierend auf einer Abstimmung mit einer flachen Oberfläche im Detail vorgestellt. Als Schreibweise:

N_P_C1 - Form-aus-Polarisation (SFP)-Normalen in Kamera 1
N_P_C2 - SFP-Normalen in Kamera 2
CDM - Grobtiefenkarte
N_CDM_C1 - Normalen in CDM im Bildraum von Kamera 1
N_CDM_C2 - Normalen in CDM im Bildraum von Kamera 2
Trans_C2_C1 - Relative Pose von Kamera 2 in Bezug auf Kamera 1, erhalten durch extrinsische und intrinsische Kamerakalibrierung
Trans_CDM_C1 - Transformation zur Ausrichtung des CDM auf das Objekt im Bildraum von Kamera 1
Trans_CDM_C2 - Transformation zur Ausrichtung des CDM mit dem Objekt im Bildraum von Kamera 2

(~) - Konsistenz-Operator
obeys_flatness() - Operator, der prüft, ob die ausgewählten Normalen einer Ebenheitsbedingung entsprechen.
Der Konsistenzoperator (~) kann als eine Abstandsmetrik (z. B. eine auf Cosinusähnlichkeit basierende Winkeldistanzmetrik) modelliert werden, die zwischen den auf Konsistenz verglichenen Normalen berechnet wird. Ist der Winkelabstand kleiner als ein Schwellenwert, sind die verglichenen Normalen miteinander konsistent, andernfalls nicht (!~). Die zu vergleichenden Normalen werden mit Hilfe der oben aufgeführten Transformationen in denselben Koordinatenrahmen transformiert (in diesem Fall in den Master-Kamera- oder Kamera 1-Bildraum), bevor der Konsistenzoperator (~) angewendet wird
Pseudocode-Implementierung der Abstimmung basierend auf der Ebenheitspriorität:

Für jedes normale Pixel in N_P_C1:

In einigen Ausführungsformen werden die korrigierten Oberflächennormalen Corrected_N_(Pol_C1) und Corrected_N_(Pol_C2 ) verwendet, um die Form des Oberflächenobjekts zu rekonstruieren. In einigen Ausführungsformen kann beispielsweise ein Algorithmus zur Umkehrung einer dünnbesetzten Matrix angewendet werden (wie in Kadambi, A. [et al.], Polarized 3D: High-Quality Depth Sensing with Polarization Cues, 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2015, S. 3370-3378, doi: 10.1109/ICCV.2015.385. beschrieben), um die korrigierten Tiefenkoordinaten der Oberfläche zu schätzen. Diese revidierten Tiefenkoordinaten haben eine höhere Auflösung als die ursprüngliche Tiefe, die mit Standard-3D-Bildgebungsverfahren (Stereo, Flugzeit usw.) ermittelt wurde.
Oberflächendefekte und -unregelmäßigkeiten können dann basierend auf dem Erfassen von Normalen erfasst werden, die verrauscht oder fehlerhaft sind oder die auf andere Weise die Posenkonsistenz zwischen den verschiedenen Kameramodulen des Stereo-Polarisationskamerasystems beeinträchtigen. Unter bestimmten Umständen sind diese spärlichen Unregelmäßigkeiten besonders offensichtlich, da sie in den für jede der Ansichten berechneten DOLP-Bildern in unterschiedlichen Anteilen auffallen. Mit anderen Worten: Teile der Normalskala, die gegen die Annahme der Ebenheit oder anderweitigen Glätte der Oberfläche verstoßen, können in Wirklichkeit nicht glatte Oberflächen sein, was die Erfassung spärlicher Unregelmäßigkeiten in einer Oberfläche ermöglicht, von der angenommen wird, dass sie generell glatt ist.
Ein polarisationsverbessertes Multikamerasystem für Echtzeit-Visualisierung mit Feedback-Steuerung
Eine Reihe von industriellen Bildgebungsanwendungen erfordern ein festes Betrachtungsvolumen mit kontrollierten Lichtverhältnissen. Zum Beispiel haben 3D-Drucker ein Druckbett fester Größe, und das Betrachtungsvolumen, das diesem Druckbett entspricht, ist eine kontrollierte Umgebung in Bezug auf Beleuchtung, Temperatur und Feuchtigkeit.
Aspekte der vorliegenden Offenbarung beziehen sich auf ein Oberflächenprofilometriesystem, das konfiguriert ist, um die Oberflächenprofile, Schicht für Schicht, der gedruckten Objekte zu erfassen. Dies ermöglicht die Synthese eines 3D-Modells am Ende des Druckauftrags. Dies kann für den Endkunden von großem Nutzen sein, da es ihm ermöglicht, die Abweichung des gedruckten Objekts von seinem Entwurfssoll zu verstehen und somit die Fertigungstoleranzen auf Objektbasis zu erfassen. Bei der Herstellung von kritischen Teilen ist diese Information sogar noch wichtiger. Darüber hinaus ermöglicht das vom Oberflächenprofilometriesystem erfasste schichtweise Oberflächenprofil dem 3D-Drucker, diese Informationen zu nutzen, um gegebenenfalls Korrekturmaßnahmen zu ergreifen, um den Druckprozess zu verbessern und etwaige gedruckte Anomalien zu korrigieren.
10A ist ein Blockdiagramm verschiedener Komponenten des Oberflächenprofilometriesystems1000 gemäß einigen Ausführungsformen der vorliegenden Offenbarung. 10B ist ein schematisches Diagramm, das die räumliche Beziehung des einen oder der mehreren Polarisationskameramodule 10' des Oberflächenprofilometriesystems 1000 und des Druckbetts 1004 gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht.
Unter Bezugnahme auf die 10A-10B umfasst das Oberflächenprofilometriesystem 1000 in einigen Ausführungsformen ein 3D-Drucksystem 1002 zum Drucken (z. B., (z.B. additive Fertigung) eines physischen Objekts 1006 auf einem Druckbett 1004, ein oder mehrere Polarisationskameramodule 10' zur schichtweisen Aufnahme der Oberflächenprofile der auf dem Druckbett 1004 gedruckten Objekte und ein Verarbeitungssystem 100 zur Verarbeitung der von dem einen oder den mehreren Polarisationskameramodulen 10' aufgenommenen Polarisationsrohbilder 18. Wie oben unter Bezugnahme auf 1B-1C beschrieben, ist jedes der ein oder mehreren Polarisationskameramodule 10' ein Array (z. B. ein 2x2-Array) von Polarisationskameras, wobei jede Polarisationskamera einen linearen Polarisationsfilter mit einem bestimmten Winkel (z. B. 0°, 45°, 90° und 135°) aufweist.
Für jede Schicht des Objekts 1006, das vom 3D-Drucksystem 1002 gedruckt wird, empfängt die Verarbeitungsschaltung 100 Polarisationsrohbilder 18, die der gedruckten Schicht des Objekts 1006 entsprechen. Die Verarbeitungsschaltung 100 extrahiert Polarisationsinformationen aus den Polarisationsrohbildern 18 und erzeugt mit Hilfe einer Grobschichttiefenkarte Oberflächennormalen-Bilder (auch als „Normal-Bilder“ bezeichnet). Die Verarbeitungsschaltung 100 erzeugt dann ein entsprechendes 3D-Oberflächenprofil der zu druckenden Schicht. In einigen Beispielen kann dieses 3D-Oberflächenprofil in einer Nachbearbeitungsanalyse verwendet werden, um Abweichungen des gedruckten Objekts 1006 von seinem Entwurfssoll auf Schicht-zu-Schicht-Basis zu bestimmen, was zur Verbesserung des Druckprozesses oder zum besseren Verständnis der Drucktoleranzen genutzt werden kann. Darüber hinaus kann die Verarbeitungsschaltung 100 das 3D-Oberflächenprofil dem Drucksystem 1002 als Feedback zur Verfügung stellen (z. B. als Steuerungsfeedback), wodurch das Drucksystem 1002 in der Lage sein kann, in Echtzeit Korrekturmaßnahmen zu ergreifen (z. B. durch Korrektur gedruckter Anomalien). Der Betrieb des Drucksystems 1002, des einen oder der mehreren Polarisationskameramodule 10' und der Verarbeitungsschaltung 100 kann durch ein Synchronisationssignal synchronisiert werden, das vom Drucksystem 1002 oder einer externen Steuerung geliefert wird. In einigen Beispielen nehmen die ein oder mehreren Polarisationskameramodule 10' die Polarisationsrohbilder auf, sobald eine Schicht des Objekts 1006 gedruckt ist, und die Verarbeitungsschaltung 100 schließt die Verarbeitung dieser Bilder ab, um ein 3D-Profil der Schicht zu erzeugen, bevor das Drucksystem 1002 die nachfolgende Schicht druckt (oder bevor es mit dem Drucken der nachfolgenden Schicht beginnt).
Um Details des Objekts 1006 mit ausreichender Auflösung zu erfassen, kann das Oberflächenprofilometriesystem 1000 in einigen Beispielen so nahe am Druckbett 1004 positioniert werden, dass das diagonale Sichtfeld der Kamera einen Winkelschwellenwert (z.B. 100°) überschreitet. In solchen Szenarien kann die Verwendung einer einzelnen Kamera mit einem Objektiv mit großem Sichtfeld zu optischen Verzerrungen oder Problemen mit der Modulationsübertragungsfunktion (MTF) führen, wobei die Verzerrungseffekte des Objektivs bei großen Feldhöhen so stark werden können, dass sich die MTF des Systems erheblich verschlechtert.
Dementsprechend wird in einigen Beispielen der aktive Bereich des Druckbetts 1004 in zwei oder mehr Bereiche aufgeteilt, von denen jeder Bereich von einem anderen Polarisationskameramodul 10' so abgedeckt wird, dass das diagonale Sichtfeld des abzudeckenden Bereichs den Winkelschwellenwert (z. B. 100°) nicht überschreitet. Dies kann zu einer guten Kontrolle der Feldverzerrung und der MTF des Systems über alle Feldhöhen hinweg führen. In einigen Beispielen hat jedes benachbarte Paar von Trennwänden einen überlappenden Bereich, der in das Sichtfeld der entsprechenden benachbarten Polarisationskameramodule 10' fällt. Der überlappende Bereich kann bei der Ausrichtung der von den benachbarten Polarisationskameramodulen 10' aufgenommenen Bilder helfen. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht darauf beschränkt, und der Überlappungsbereich kann vernachlässigbar klein oder nicht vorhanden sein, und die Ausrichtung kann ohne die Hilfe eines Überlappungsbereichs durchgeführt werden. Gemäß einigen Beispielen kann die Bildausrichtung basierend auf vorherigen Kalibrierungen durchgeführt werden, wobei die Kenntnis der Position und Ausrichtung der einzelnen Polarisationskameramodule 10' relativ zum Druckbett 1004 verwendet wird. Die vorherigen Kalibrierungen können als extrinsische Rotations- und Translationsmatrix kodiert werden, die im Verarbeitungssystem 100 gespeichert werden kann.
In Ausführungsformen, in denen ein einziges Polarisationskameramodul 10' pro Teilbereich verwendet wird, kann die Verarbeitungsschaltung 100 die Grobtiefenkarte aus dem 3D-CAD-Schichtenmodell ableiten, das vom 3D-Drucksystem zum Drucken der Schicht des beobachteten Objekts 1006 verwendet wird. Die Ausführungsformen der vorliegenden Erfindung sind j edoch nicht darauf beschränkt. Gemäß einigen Ausführungsformen kann ein Paar von Polarisationskameramodulen 10' (wie das Stereo-Polarisationskamerasystem 10'', das unter Bezugnahme auf 1D beschrieben wird) von dem Oberflächenprofilometriesystem 1000 verwendet werden, um die Polarisationsmerkmale jedes Teilbereichs des Druckbetts 1004 zu erfassen. In solchen Ausführungsformen kann die Verarbeitungsschaltung 100 die Grobtiefenkarte basierend auf der Parallaxenverschiebung zwischen den von dem Paar (z. B. von dem Stereo-Polarisationskamerasystem 10'') erfassten Polarisationsrohbildern konstruieren, wie oben in Bezug auf 1D beschrieben, oder die Grobtiefenkarten aus dem 3D-CAD-Schichtenmodell ableiten.
10C ist ein Flussdiagramm eines Verfahrens 1100 zur Durchführung der Oberflächenprofilometrie eines Objekts, das einer additiven Fertigung unterzogen wird, basierend auf Polarisationsrohbildern, gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
In einigen Ausführungsformen führt die Verarbeitungsschaltung 100 das Verfahren 1100 für jede Schicht oder für jede einer Untermenge von Schichten des zu druckenden Objekts 1006 durch.
Im Verfahrensschritt 1102 empfängt die Verarbeitungsschaltung 100 Polarisationsrohbilder, die von einer gedruckten Schicht des 3D-Objekts mit einem oder mehreren Polarisationskameramodulen 10' aufgenommen wurden. Die Verarbeitungsschaltung 100 extrahiert dann im Verfahrensschritt 1104 Polarisationsmerkmalskarten oder Polarisationsbilder aus Polarisationsrohbildern. Dabei berechnet die Verarbeitungsschaltung 100 basierend auf den Polarisationsbildern den Grad und den Winkel der linearen Polarisation (DOLP p und AOLP ϕ aus der Stokes-Vektorformulierung für jede der einen oder mehreren Kameras der Polarisationskameramodule 10' (ähnlich wie im Verfahrensschritt 920 von 9B).
Im Verfahrensschritt 1106 erhält die Verarbeitungsschaltung 100 die Grobschichttiefenkarte, die der Schicht des zu druckenden Objekts 1006 entspricht. In einigen Beispielen kann die Grobschichttiefenkarte das CAD-Schichtenmodell sein, das vom Drucksystem 1002 bereitgestellt wird. In Beispielen, in denen das Oberflächenprofilometriesystem 1000 ein Paar von Polarisationskameramodulen 10' (z. B. das Stereo-Polarisationskamerasystem 10'') und nicht ein einzelnes Polarisationskameramodul 10' verwendet, um die Polarisationsmerkmale jedes Teilbereichs des Druckbetts 1004 zu erfassen, kann die Verarbeitungsschaltung 100 die Grobtiefenkarte basierend auf der Parallaxenverschiebung zwischen den von dem Paar erfassten Polarisationsrohbildern konstruieren.
Im Verfahrensschritt 1108 erzeugt die Verarbeitungsschaltung 100 Oberflächennormalen-Bilder basierend auf der Grobschichttiefenkarte und den Polarisationsbildern. Wie oben beschrieben, berechnet die Verarbeitungsschaltung 100 in einigen Ausführungsformen Oberflächennormalen (z. B. Zenit θ_z und Azimut θ_a) aus den Polarisationsbildern unter Verwendung der SFP-Technik (Shape from Polarization), wie oben in Bezug auf die Gleichungen (2), (3), (4) und (5) für jedes der ein oder mehreren Polarisationskameramodule 10' beschrieben. Die Verarbeitungsschaltung 100 bestimmt dann die Pose der zu bedruckenden Schicht in Bezug auf jedes der einen oder mehreren Polarisationskameramodule 10' unter Verwendung von Perspective-N-Point (PnP) und transformiert die Grobschichttiefenkarte in den/die Kameraraum/Kameraräume, der/die dem einen oder den mehreren Polarisationskameramodulen 10' des Oberflächenprofilometriesystems 1000 entspricht/entsprechen (wie z. B. unter Bezugnahme auf den Verfahrensschritt 840 von 8B beschrieben). Die transformierte(n) Grobschichttiefenkarte(n), die dem einen oder den mehreren Kameramodulen 10' entspricht/entsprechen, wird/werden von der Verarbeitungsschaltung 100 als Führungsvorgaben verwendet, um die hochfrequente azimutale π-Mehrdeutigkeit sowie den niederfrequenten Skalierungsfehler im Zenit aufgrund von Brechungsverzerrungen zu korrigieren und so die entsprechenden einen oder mehreren korrigierten Oberflächennormalen-Bilder zu erzeugen, die gegenüber verrauschten SFP-Normalen in Fällen von fronto-parallelen Facetten und Spiegelungen robust sein können. In Ausführungsformen, in denen das Oberflächenprofilometriesystem 1000 die Grobtiefenkarte basierend auf der Parallaxenverschiebung zwischen den Polarisationsrohbildern konstruiert, die von einem Paar von Polarisationskameramodulen 10' (z. B. dem Stereo-Polarisationskamerasystem 10'') erfasst werden, kann das Grobschichttiefenmodell und die Polarisationshinweise (z. B. DOLP p und AOLP ϕ) unter Verwendung der unter Bezugnahme auf 4 beschriebenen Verfahrensschritte 450-490 verfeinert werden.
Im Verfahrensschritt 1110 erzeugt die Verarbeitungsschaltung 100 eine 3D-Rekonstruktion der zu druckenden Schicht basierend auf dem/den korrigierten Oberflächennormalen-Bild(ern). Wie oben beschrieben, kann die korrigierte(n) Oberflächennormale(n) (unabhängig) über einen Probenraum (Ω) integriert werden, um die Form der gesamten Oberfläche der gedruckten Schicht oder eines Teils davon innerhalb des entsprechenden Teilbereichs für jedes Kameramodul 10' wiederherzustellen. In Beispielen, in denen das Druckbett 1004 in zwei oder mehr Teilbereiche mit entsprechenden zwei oder mehr Kameramodulen 10' unterteilt ist, kann die wiederhergestellte Form jedes Teilbereichs mit der (den) wiederhergestellten Form(en) des (der) benachbarten Teilbereichs (Teilbereiche) ausgerichtet und zusammengeführt werden, um die 3D-Rekonstruktion der gesamten gedruckten Schicht zu erhalten. In einigen Beispielen kann die Ausrichtung und Zusammenführung in der Phase der korrigierten Oberflächennormalen-Bilder durchgeführt werden, und das resultierende zusammengeführte Oberflächennormalen-Bild kann der gesamten zu druckenden Schicht entsprechen. Diese 3D-Rekonstruktion kann gemäß einigen Ausführungsformen eine höhere Auflösung haben als die, die mit 3D-Bildgebungsverfahren des verwandten Standes der Technik erzielt werden kann.
Es wird erwartet, dass die aus einer solchen Integration gewonnene Oberfläche mit der durch das CAD-Schichtmodell vorgegebenen Form übereinstimmt, und Unterschiede zwischen der aus der Integration gewonnenen Oberfläche und dem CAD-Schichtmodell können auf fehlerhafte Teile der gedruckten Schicht hinweisen.
Weitreichende 3D-Gesichtsscans
Die Gesichtserkennung ist ein wichtiges biometrisches Erkennungsverfahren, das die Authentifizierung des Benutzers in zahlreichen Sicherheits- und Überwachungsanwendungen ermöglicht. Unter den bestehenden Authentifizierungsmethoden sind 3D-Gesichtsscans potenziell robuster mit niedrigeren Falschakzeptanzraten (FAR) und Falschrückweisungsraten (FRR). Aus diesem Grund ist das Interesse an der 3D-Gesichtsauthentifizierung gestiegen. Allerdings sind 3D-Gesichtsscans mit herkömmlichen Mitteln möglicherweise nicht einfach robust zu implementieren. In mobilen Systemen wird beispielsweise mit aktiver Beleuchtung ein Muster auf das Gesicht eines Benutzers projiziert und dann das projizierte Muster abgetastet, um die Tiefe der wichtigsten Merkmale zu ermitteln. Diese Technologie ist weit verbreitet, hat aber eine Reihe von Problemen, darunter: die zusätzlichen Kosten und den Stromverbrauch, die sich aus der Verwendung aktiver Beleuchtung ergeben, die begrenzte Reichweite der aktiven Beleuchtung sowie die Unfähigkeit, unter allen Umgebungsbedingungen (z. B. Lichtverhältnissen) zuverlässig zu arbeiten.
Einige Aspekte der Ausführungsformen der vorliegenden Offenbarung beziehen sich auf ein 3D-Bildgebungssystem, das die Lichtpolarisation und neuronale Netze zur 3D-Abtastung eines Gesichts nutzt.
11A zeigt das 3D-Bildgebungssystem 1100 gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
In einigen Ausführungsformen umfasst das 3D-Bildgebungssystem 1100 das Polarisationskameramodul 10', den Merkmalsextraktor 700 und ein neuronales Netz zur Gesichtsrekonstruktion 1104. Das Polarisationskameramodul 10', das in einem Abstand von dem beobachteten Gesicht 1102 angeordnet ist, nimmt das Gesicht 1102 auf und erzeugt ein entsprechendes Polarisationsrohbild 18'. Der Abstand zwischen dem beobachteten Gesicht 1102 und dem Polarisationskameramodul 10' ist nicht besonders begrenzt und kann jeder geeignete Abstand sein, solange die Fähigkeit, das Gesicht 1102 zu erfassen, nicht durch die Optik des Polarisationskameramoduls 10' eingeschränkt wird. Der Merkmalsextraktor 700 berechnet die Merkmalskarten 50, die Oberflächennormalen (z. B. geschätzte Oberflächennormalen) 58 enthalten, basierend auf dem Polarisationsrohbild 18' über den oben in Bezug auf die beschriebenen Prozess. Gemäß einigen Ausführungsformen erzeugt das neuronale Gesichtsrekonstruktionsnetz 1104 eine detaillierte 3D-Rekonstruktion 1106 des beobachteten Gesichts 1102 basierend auf (z. B. ausschließlich basierend auf) den Merkmalskarten 50 (z. B. den Oberflächennormalen 58). In einigen Ausführungsformen wird das neuronale Netz zur Gesichtsrekonstruktion 1104 trainiert, um korrigierte Oberflächennormalen (korrigierte N_PolC1 und korrigierte _N_PolC2, wie beispielsweise oben in Bezug auf die und beschrieben) basierend auf den geschätzten Oberflächennormalen 58 zu berechnen und die 3D-Rekonstruktion 1106 des Gesichts 1102 basierend auf den korrigierten Oberflächennormalen zu erzeugen.
Gemäß einigen Ausführungsformen ist das neuronale Netz zur Gesichtsrekonstruktion 1104, das ein polarisiertes CNN sein kann, darauf trainiert, eine Vielzahl von Merkmalskarten (z. B. Oberflächennormalen) mit detaillierten 3D-Rekonstruktionen von Gesichtern zu korrelieren, aus denen die Merkmalskarten erzeugt wurden.
Dementsprechend beziehen sich Aspekte einiger Ausführungsformen der vorliegenden Offenbarung auf ein 3D-Bildgebungssystem, das in der Lage ist, eine Vielzahl von verbesserten/detaillierten 3D-Gesichtsrekonstruktionen basierend auf Gesichtern zu erzeugen, die von einem oder mehreren Polarisationskameramodulen 10' erfasst wurden.
11B zeigt das 3D-Bildgebungssystem 1110 gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
In einigen Ausführungsformen umfasst das 3D-Bildgebungssystem 1110 ein oder mehrere Polarisationskameramodule 10' zum Erfassen eines oder mehrerer Polarisationsrohbilder 18 und ein Verarbeitungssystem 100 zum Erzeugen einer 3D-Rekonstruktion 1106' des beobachteten Gesichts 1102' basierend auf dem einen oder mehreren Polarisationsrohbildern 18.
In einigen Ausführungsformen umfassen das eine oder die mehreren Polarisationskameramodule 10' mindestens ein erstes und ein zweites Polarisationskameramodul 10-1' und 10-2' (wie das Stereo-Polarisationskamerasystem 10''), die Polarisationsrohbilder 18 von mindestens zwei Blickpunkten erfassen, und das Verarbeitungssystem 100 erzeugt seine eigene Grobtiefenkarte basierend auf den Polarisationsrohbildern 18. In einigen Ausführungsformen berechnet das Verarbeitungssystem 100 eine anfängliche Schätzung von DOLP p und AOLP ϕ für jeden der mindestens zwei Blickpunkte, berechnet geschätzte Oberflächennormalen aus der anfänglichen Schätzung von DOLP p und AOLP ϕ für jeden der mindestens zwei Blickpunkte und schätzt die Gesichtsgeometrie basierend auf den Polarisationsrohbildern 18 (wie z. B. in den Verfahrensschritten 410 und 430 von 4). Dann kann das Verarbeitungssystem 100 für jeden Blickpunkt damit fortfahren, dieses anfängliche grobe Gesichtsmodell aus der Perspektive dieses Blickpunkts und der entsprechenden Polarisationsmerkmale zu verfeinern, um zu verfeinerten/korrigierten Polarisationsmerkmalen zu gelangen (z. B. in Übereinstimmung mit den Verfahrensschritten 450, 470 und 490 von 4). Das Verarbeitungssystem 100 berechnet dann verfeinerte/korrigierte Oberflächennormalen aus den Polarisationsmerkmalen für jeden der mindestens zwei Blickpunkte. In einigen Ausführungsformen integriert das Verarbeitungssystem 100 unabhängig die Oberflächennormalen von jedem Blickpunkt über den Abtastraum (Ω), um eine 3D-Rekonstruktion des Gesichts 1102' aus dieser Perspektive zu synthetisieren.
Hier bilden jedes Paar von geschätzten Oberflächennormalen und die entsprechende 3D-Rekonstruktion, die mit einem bestimmten Blickpunkt assoziiert ist, einen Satz von Trainingsdaten für das 3D-Bildgebungssystem 1100 von 11A. Durch Wiederholung dieses Prozesses für verschiedene Gesichter (z.B. eine große Anzahl von Gesichtern) können genügend Trainingsdaten gesammelt werden, um das neuronale Netz 1104 zur Gesichtsrekonstruktion zu trainieren, um 3D-Gesichtsrekonstruktionen basierend auf geschätzten Oberflächennormalen von einem einzelnen Polarisationskameramodul 10' zu erzeugen.
Während das 3D-Bildgebungssystem 1110 die anfängliche Grobtiefenkarte des beobachteten Gesichts 1102' basierend auf Triangulation (d.h. der Parallaxenverschiebung zwischen zwei oder mehr Polarisationskameramodulen 10') erzeugen kann, sind Ausführungsformen der vorliegenden Erfindung nicht darauf beschränkt.
In einigen Ausführungsformen umfasst das 3D-Bildgebungssystem 1110 beispielsweise einen Generator für Grobtiefenkarten 1112, der das anfängliche grobe Gesichtsmodell basierend auf einem monokularen 2D-Farbbild (z. B. einem RGB- oder RGBG-Bild) des beobachteten Gesichts 1102' erzeugen kann. Dieses 2D-Farbbild kann von einem der Polarisationskameramodule 10' aufgenommen werden, das in der Lage ist, zusätzlich zu den Polarisationsdaten auch Farbinformationen zu erfassen, oder es kann von einer separaten herkömmlichen Farbkamera (z. B. einer RGB-Kamera) aufgenommen werden, die ein ähnliches Sichtfeld hat wie das eine oder mehrere Polarisationskameramodule 10'. Der Generator für Grobtiefenkarten 1112 kann einen Algorithmus zur Tiefenschätzung oder ein neuronales Netz verwenden, das für die Schätzung von Tiefeninformationen basierend auf einem zweidimensionalen Bild (z. B. unter Verwendung des inversen quadratischen Gesetzes) trainiert wurde, und erhält so eine anfängliche Grobtiefenkarte oder ein Modell des beobachteten Gesichts 1102'. In einigen anderen Ausführungsformen kann das 3D-Bildgebungssystem 1110 außerdem einen Tiefensensor enthalten, der konfiguriert ist, um die Tiefe anhand von Fokus/Defokus, Bewegung usw. zu messen, und der Generator für Grobtiefenkarten 1112 kann das anfängliche grobe Gesichtsmodell basierend auf der Eingabe des Tiefensensors erzeugen. Gemäß einigen weiteren Ausführungsformen kann der Generator für Grobtiefenkarten 1112 dem Verarbeitungssystem 100 ein Modell eines allgemeinen menschlichen Gesichts (z. B. ein durchschnittliches menschliches Gesicht oder ein 3D-morphbares Modell (3DMM) eines Gesichts) zur Verfügung stellen, das als anfängliches grobes Gesichtsmodell verwendet wird, das dann wie oben beschrieben verfeinert wird. In solchen Ausführungsformen kann das Verarbeitungssystem 100 das Modell des generischen Gesichts, das von dem Generator für Grobtiefenkarten 1112 bereitgestellt wird, an den Bildräumen ausrichten, die dem/den Blickpunkt(en) des einen oder der mehreren Polarisationskameramodule 10' entsprechen, wie oben unter Bezugnahme auf den Verfahrensschritt 840 von 8B beschrieben.
Slope-Net: Verwendung von Oberflächennormalen-Informationen zur Erstellung von Objektsignaturen
und Gesichtssignaturen.
Das Verstehen von Objekten und Gesichtern ist ein wichtiges Problem, das es zu lösen gilt. Die Anwendungen der Objekterkennung und des Objektverständnisses sind zahlreich, wie z.B. Modedesign, Produkterkennung, Sortierung und mehr. Die Erkennung von Gesichtsemotionen und die Gesichtserkennung können für Anwendungen wie Fahrerüberwachung, Benutzerauthentifizierung (z. B. in den Bereichen automatischer Zahlungsverkehr, Sicherheit usw.), allgemeine Überwachung usw. wichtig sein. Sowohl die Objekterkennung als auch die Gesichtserkennung beruhen auf der Fähigkeit, Pixel aus einem Bild zu entnehmen und sie in eine Signatur oder Darstellung umzuwandeln, die sich von Bild zu Bild nicht ändert. Der Bereich des Repräsentationslernens beim maschinellen Lernen widmet sich derzeit der Aufgabe, komplexe Eingaben auf niedrigdimensionale Mannigfaltigkeiten vorherzusagen. Im Allgemeinen gilt: Je geringer die Dimension der Datenvielfalt, desto einfacher ist es, diese Repräsentationen zu lernen. Standard-RGB-Bilder, die keine Informationen über die Oberflächennormalen enthalten, können eine Vielzahl von szenenspezifischen Informationen über Textur, Beleuchtung usw. enthalten. Die Algorithmen zur Erkennung von Gesichtern und Objekten aus dem Stand der Technik erlernen diese Mannigfaltigkeit durch das Erlernen eines Einbettungsraums, d. h. eines relativ niedrigdimensionalen Raums, in den jedes Bild (das ein hochdimensionaler Vektor ist) in einen niedrigdimensionalen Vektor übersetzt wird. Dieser Lernprozess kann sehr langsam und anfällig für Divergenzen sein.
Im Gegensatz dazu enthält ein Bild, das nur die Oberflächennormalen enthält, keine Textur- oder Beleuchtungsinformationen, was die Komplexität der zu erlernenden Mannigfaltigkeit verringert. Dies kann ein schnelleres und genaueres Lernen ermöglichen.
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Erzeugung von Oberflächennormalen-Bildern verschiedener Objekte und/oder Gesichter und die Zusammenstellung einer oder mehrerer Bibliotheken solcher Oberflächennormalen-Bilder für die spätere Verarbeitung. Gemäß einigen Ausführungsformen kodieren die Rot-, Grün- und Blauwerte jedes Pixels in dem Oberflächennormalen-Bild Informationen über die Oberflächennormale an diesem Pixel. In einigen Ausführungsformen stellen der erste, zweite und dritte Wert der RGB-Werte für ein Pixel jeweils die x-Achsen-Komponente, die y-Achsen-Komponente und die z-Achsen-Komponente der Oberflächennormale an diesem Pixel dar. In einigen Beispielen können der erste, der zweite und der dritte Wert rote, grüne bzw. blaue Werte sein; Ausführungsformen der vorliegenden Erfindung sind jedoch nicht darauf beschränkt, und der erste, der zweite und der dritte Wert können blaue, rote bzw. grüne Werte oder eine andere Reihenfolge dieser Werte sein. Um in der gesamten Bibliothek der Oberflächennormalen-Bilder Konsistenz zu erreichen und eine einfache Verwendung bei der Nachbearbeitung zu ermöglichen, werden die x-, y- und z-Achsenkomponenten der Oberflächennormalen auf dieselben RGB-Werte in allen Oberflächennormalen-Bildern der Bibliothek abgebildet (dies kann als Abbildungskonsistenz bezeichnet werden).
Jedes Oberflächennormalen-Bild in der Bibliothek kann mit einer Kennzeichnung oder einem Etikett versehen werden, das das vom Bild erfasste Objekt identifiziert und/oder charakterisiert. Die Oberflächennormalen-Bilder in einer Bibliothek können alle einer bestimmten Klasse von Objekten zugeordnet sein (z. B. Fahrzeuge, Fahrräder, Tiere, Ampeln, Fußgänger, Gesichter usw.). So kann eine Bibliothek beispielsweise Oberflächennormalen-Bilder verschiedener Fahrzeugtypen wie Lastkraftwagen, Sport Utility Vehicles (SUVs), Lieferwagen, Limousinen usw. enthalten, und jedes Oberflächennormalen-Bild in dieser Bibliothek kann zur Identifizierung des Fahrzeugtyps beschriftet sein. In einem anderen Beispiel kann eine Bibliothek Oberflächennormalen-Bilder verschiedener menschlicher Gesichtsausdrücke enthalten, die jeweils mit dem zugehörigen erfassten Ausdruck (z. B. Lachen, Lächeln, Stirnrunzeln, Überraschung, Ekel usw.) beschriftet sind.
Die Beschriftung der Oberflächennormalen-Bilder kann manuell erfolgen (z. B. durch einen Menschen) oder von einer Maschine (z. B. einem Computer) durchgeführt werden, wenn synthetische Bilder zur Erzeugung der Oberflächennormalen-Bilder verwendet werden.
Jedes Oberflächennormalen-Bild kann mit den oben beschriebenen Techniken erzeugt werden. Beispielsweise kann ein Objekt über ein Polarisationskameramodul 10' oder das Stereo-Polarisationskamerasystem 10'' abgebildet werden, und der Merkmalsextraktor 700 kann das entsprechende Oberflächennormalen-Bild erzeugen, wie oben in Bezug auf die 6A, 7A und 7B beschrieben. In einigen Ausführungsformen werden die Oberflächennormalen für jedes Pixel unter Verwendung kartesischer Koordinaten (z. B. dreidimensionale Vektoren, die eine Richtung der Oberflächennormalen angeben) in den RGB-Werten kodiert.
Gemäß einigen Ausführungsformen werden die eine oder mehrere Bibliotheken zum Trainieren verschiedener maschineller Lernalgorithmen (z. B. Prädiktoren/Klassifikatoren) verwendet. In einigen Beispielen kann eine Bibliothek von Oberflächennormalen-Bildern, die menschlichen Gesichtern entsprechen, verwendet werden, um einen Klassifikator (z. B. einen Gesichtsausdrucksklassifikator) zu trainieren, um verschiedene emotionale Zustände zu identifizieren. Dabei wird ein Klassifikator, wie z. B. der Prädiktor 710, so trainiert, dass er die normalen Gesichtsbilder mit den entsprechenden Kennzeichnungen korreliert, die den durch das Bild erfassten emotionalen Zustand anzeigen können. Dieser Klassifikator kann dann verwendet werden, um emotionale Zustände eines erfassten Gesichts allein basierend auf den Oberflächennormalen eines beobachteten Gesichts zu identifizieren. In ähnlicher Weise kann der Klassifikator trainiert werden, um Absichten, Blicke, körperliches Wohlbefinden, Gangart und/oder ähnliches basierend auf Oberflächennormalen-Bildern von menschlichen Gesichtern oder menschlichen Körpern zu erkennen.
In anderen Beispielen kann der Klassifikator (z.B. der Prädiktor 710) trainiert werden, um verschiedene Fahrzeugtypen, wie Lastwagen, SUVs, Vans, Limousinen usw., zu identifizieren, indem er Oberflächennormalen-Bilder aus einer Bibliothek verwendet, die gekennzeichnete Normal-Bilder verschiedener Fahrzeugtypen enthält.
12 ist ein Blockdiagramm eines Prädiktors 710 gemäß einer Ausführungsform der vorliegenden Erfindung.
Gemäß einigen Ausführungsformen umfasst der Prädiktor 710 einen trainierten Klassifikator, der die Eingabe des Oberflächennormalen-Bildes 50' in eine oder mehrere Kategorien einordnet. Beispielsweise kann der trainierte Klassifikator eine Charakterisierungsausgabe 20 berechnen, die einen Vektor (z. B. einen Wahrscheinlichkeitsvektor) mit einer Länge gleich der Anzahl verschiedener möglicher Bildmerkmale (z. B. Gesichtsausdrücke oder Fahrzeugtypen) enthält, für deren Erkennung der Klassifikator trainiert ist, wobei jeder Wert in dem Vektor einer Wahrscheinlichkeit entspricht, dass das eingegebene Oberflächennormalen-Bild 50' das entsprechende Bildmerkmal darstellt. In einigen Ausführungsformen umfasst der Prädiktor 710 eine Vielzahl von statistischen Modellen (z. B. 712, 714 ... 716 usw.), die verschiedenen Arten von Bildmerkmalen zugeordnet sind, und jedes Modell liefert einen Zuverlässigkeitsgrad, dass das eingegebene Oberflächennormalen-Bild 50' dem zugeordneten Bildmerkmal entspricht. Wenn es sich bei den Bildmerkmalen beispielsweise um Gesichtsausdrücke handelt, kann jedes der Modelle des Prädiktors 710 mit einem entsprechenden Lachen, Lächeln, Stirnrunzeln, Überraschung usw. assoziiert sein, und der Prädiktor 710 kann einen Vektor ausgeben, wobei jedes Element in dem Vektor ein Vertrauens-/Wahrscheinlichkeitswert ist, der einem Lachen, Lächeln, Stirnrunzeln, einer Überraschung usw. entspricht.
Der Klassifikator kann auf die Eingabe von Oberflächennormalen-Bildern 50' mit einer festen Größe und einer bestimmten Abbildungskonsistenz trainiert werden. Beispielsweise stellen der erste, zweite und dritte Wert der RGB-Werte für ein Pixel des Oberflächennormalen-Bildes 50'jeweils die x-Achsenkomponente, die y-Achsenkomponente und die z-Achsenkomponente der Oberflächennormale an diesem Pixel dar. Der Klassifikator kann zum Beispiel eine Support-Vektor-Maschine, ein tiefes neuronales Netz (z.B. ein tiefes, vollständig verbundenes neuronales Netz) und ähnliches umfassen.
In Ausführungsformen, in denen der Klassifikator ein neuronales Netz wie ein faltendes neuronales Netz (z.B. ein Polarisationsmasken-R-CNN) verwendet, kann der Trainingsprozess das Aktualisieren der Gewichte von Verbindungen zwischen Neuronen verschiedener Schichten des neuronalen Netzes in Übereinstimmung mit einem Backpropagation-Algorithmus und die Verwendung von Gradientenabstieg beinhalten, um die Gewichte iterativ anzupassen, um einen Fehler (oder Verlust) zwischen der Ausgabe des neuronalen Netzes und den markierten Trainingsdaten zu minimieren.
Die von den Komponenten des Oberflächenprofilometriesystems und den verschiedenen 3D-Bildgebungssystemen der vorliegenden Offenbarung durchgeführten Operationen können von einer „Verarbeitungsschaltung“ oder einem „Prozessor“ durchgeführt werden, der eine beliebige Kombination von Hardware, Firmware und Software umfassen kann, die zur Verarbeitung von Daten oder digitalen Signalen eingesetzt wird. Die Hardware des Verarbeitungsschaltkreises kann zum Beispiel anwendungsspezifische integrierte Schaltungen (ASICs), allgemeine oder spezielle zentrale Verarbeitungseinheiten (CPUs), digitale Signalprozessoren (DSPs), Grafikverarbeitungseinheiten (GPUs) und programmierbare Logikbausteine wie FPGAs (Field Programmable Gate Arrays) umfassen. In einem Verarbeitungsschaltkreis, wie er hier verwendet wird, wird jede Funktion entweder durch Hardware ausgeführt, die so konfiguriert, d. h. fest verdrahtet ist, dass sie diese Funktion ausführt, oder durch allgemeinere Hardware, wie z. B. eine CPU, die so konfiguriert ist, dass sie in einem nichttransitorischen Speichermedium gespeicherte Anweisungen ausführt. Ein Verarbeitungsschaltkreis kann auf einer einzigen Leiterplatte (PWB) hergestellt werden oder über mehrere miteinander verbundene PWBs verteilt sein. Ein Verarbeitungsschaltkreis kann andere Verarbeitungsschaltkreise enthalten; so kann ein Verarbeitungsschaltkreis beispielsweise zwei Verarbeitungsschaltkreise, ein FPGA und eine CPU, enthalten, die auf einer Leiterplatte miteinander verbunden sind.
Es versteht sich, dass, obwohl die Begriffe „erster“, „zweiter“, „dritter“ usw. hier verwendet werden können, um verschiedene Elemente, Komponenten, Regionen, Schichten und/oder Abschnitte zu beschreiben, diese Elemente, Komponenten, Regionen, Schichten und/oder Abschnitte nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden verwendet, um ein Element, eine Komponente, einen Bereich, eine Schicht oder einen Abschnitt von einem anderen Element, einer Komponente, einem Bereich, einer Schicht oder einem Abschnitt zu unterscheiden. So könnte ein erstes Element, eine erste Komponente, ein erster Bereich, eine erste Schicht oder ein erster Abschnitt, der im Folgenden erörtert wird, als zweites Element, eine zweite Komponente, ein zweiter Bereich, eine zweite Schicht oder ein zweiter Abschnitt bezeichnet werden, ohne dass dies den Rahmen des erfinderischen Konzepts sprengen würde.
Die hier verwendete Terminologie dient der Beschreibung bestimmter Ausführungsformen und ist nicht als Einschränkung des erfinderischen Konzepts zu verstehen. Die hier verwendeten Singularformen „a“ und „an“ schließen auch die Pluralformen ein, sofern aus dem Kontext nicht eindeutig etwas anderes hervorgeht. Es versteht sich ferner, dass die Begriffe „umfassen“, „umfassend“, „aufweisen“ und/oder „aufweisen“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein bestimmter Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber das Vorhandensein oder Hinzufügen eines oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen. Wie hierin verwendet, schließt der Begriff „und/oder“ alle Kombinationen von einem oder mehreren der aufgeführten Elemente ein. Ferner bezieht sich die Verwendung von „kann“ bei der Beschreibung von Ausführungsformen des erfinderischen Konzepts auf „eine oder mehrere Ausführungsformen des erfinderischen Konzepts“. Auch der Begriff „beispielhaft“ soll sich auf ein Beispiel oder eine Illustration beziehen.
Wie hierin verwendet, können die Begriffe „verwenden“, „verwendend“ und „verwendet“ als synonym mit den Begriffen „benutzen“, „benutzend“ bzw. „benutzt“ betrachtet werden.
Ferner bezieht sich die Verwendung von „kann“ bei der Beschreibung von Ausführungsformen des erfinderischen Konzepts auf „eine oder mehrere Ausführungsformen des erfinderischen Konzepts“. Auch der Begriff „beispielhaft“ soll sich auf ein Beispiel oder eine Illustration beziehen.
Während die vorliegende Erfindung im Zusammenhang mit bestimmten beispielhaften Ausführungsformen beschrieben worden ist, ist es zu verstehen, dass die Erfindung nicht auf die offengelegten Ausführungsformen beschränkt ist, sondern im Gegenteil dazu bestimmt ist, verschiedene Modifikationen und äquivalente Anordnungen abzudecken, die im Rahmen des Geistes und des Umfangs der beigefügten Ansprüche und deren Äquivalente enthalten sind.

Claims

Ein Verfahren zum Durchführen von Oberflächenprofilometrie, wobei das Verfahren umfasst: Empfangen (1102) von einem oder mehreren Polarisationsrohbildern (18) einer gedruckten Schicht eines physikalischen Objekts (1006), das additiv hergestellt wird, wobei das eine oder die mehreren Polarisationsrohbilder (18) bei verschiedenen Polarisationen durch eine oder mehrere Polarisationskameras (10, 10A'-10D') erfasst wurden; Extrahieren (1104) einer oder mehrerer Polarisationsmerkmalskarten in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern (18); Erhalten (1106) einer Grobschichttiefenkarte der gedruckten Schicht; Erzeugen (1108) eines oder mehrerer Oberflächennormalen-Bilder basierend auf der Grobschichttiefenkarte und der einen oder mehreren Polarisationsmerkmalskarten; und Erzeugen (1110) einer 3D-Rekonstruktion der gedruckten Schicht basierend auf dem einen oder den mehreren Oberflächennormalen-Bildern, wobei die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen umfassen: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
Das Verfahren nach Anspruch 1, wobei die eine oder mehreren Polarisationskameras umfassen: eine erste Polarisationskamera (10A''-10D''), die konfiguriert ist, einen ersten Teilbereich eines Druckbetts (1004) zu erfassen, auf dem sich die gedruckte Schicht des physischen Objekts (1006) befindet; und eine zweite Polarisationskamera (10E''-10H''), die sich in einem Abstand von der ersten Polarisationskamera (10A''-10D'') befindet und konfiguriert ist, um einen zweiten Teilbereich des Druckbetts zu erfassen (1004).
Das Verfahren nach Anspruch 1 oder 2, wobei das Erhalten der Grobschichttiefenkarte der gedruckten Schicht umfasst: Konstruieren der Grobschichttiefenkarte basierend auf einer Parallaxenverschiebung zwischen Polarisationsrohbildern (18), die von der ersten und zweiten Polarisationskamera (10A''-10H'') erfasst wurden.
Das Verfahren nach Anspruch 1 oder 2, wobei das Erhalten der Grobschichttiefenkarte der gedruckten Schicht umfasst: Empfangen eines CAD-Schichtenmodells, das der gedruckten Schicht des physischen Objekts (1006) entspricht.
Das Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des einen oder der mehreren Oberflächennormalen-Bilder umfasst: Bestimmen einer Pose der gedruckten Schicht in Bezug auf jede der einen oder mehreren Polarisationskameras (10, 10A'-10D', 10A''-10H''); Transformieren der Grobschichttiefenkarte in einen oder mehrere Kameraräume, der bzw. die dem einen oder den mehreren Polarisationskameras (10, 10A'-10D', 10A''-10H'') entspricht bzw. entsprechen, um eine oder mehrere transformierte Grobschichttiefenkarten zu erzeugen; und Korrigieren des einen oder der mehreren Oberflächennormalen-Bilder basierend auf der einen oder den mehreren transformierten Grobschichttiefenkarten.
Das Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen der 3D-Rekonstruktion der gedruckten Schicht umfasst: Integrieren der Oberflächennormalen des einen oder der mehreren Oberflächennormalen-Bilder über einen Probenraum (Ω), um eine Form einer Oberfläche der gedruckten Schicht zu bestimmen.
Ein Oberflächenprofilometriesystem, das umfasst: eine oder mehrere Polarisationskameras (10, 10A'-10D', 10A''-10H'') mit einem Polarisationsfilter (16A', 16B'), wobei die eine oder mehreren Polarisationskameras (10, 10A'-10D', 10A''-10H'') konfiguriert sind, um Polarisationsrohbilder (18) bei verschiedenen Polarisationen zu erfassen; und ein Verarbeitungssystem (100) mit einem Prozessor und einem Speicher, der Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, Folgendes durchzuführen: Empfangen (1102) eines oder mehrerer Polarisationsrohbilder (18) einer gedruckten Schicht eines physikalischen Objekts (1006), das additiv hergestellt wird, wobei das eine oder die mehreren Polarisationsrohbilder (18) mit unterschiedlichen Polarisationen von der einen oder den mehreren Polarisationskameras (10, 10A'-10D', 10A''-10H'') erfasst wurden; Extrahieren (1104) einer oder mehrerer Polarisationsmerkmalskarten in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern (18); Erhalten (1106) einer Grobschichttiefenkarte der gedruckten Schicht; Erzeugen (1108) eines oder mehrerer Oberflächennormalen-Bilder basierend auf der Grobschichttiefenkarte und der einen oder den mehreren Polarisationsmerkmalskarten; und Erzeugen (1110) einer 3D-Rekonstruktion der gedruckten Schicht basierend auf dem einen oder den mehreren Oberflächennormalen-Bildern, wobei die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen umfassen: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
Das Oberflächenprofilometriesystem nach Anspruch 7, wobei die eine oder mehrere Polarisationskameras umfassen: eine erste Polarisationskamera (10A''-10D''), die konfiguriert ist, um einen ersten Teilbereich eines Druckbetts (1004) zu erfassen, auf dem sich die gedruckte Schicht des physischen Objekts (1006) befindet; und eine zweite Polarisationskamera (10E''-10H''), die sich in einem Abstand von der ersten Polarisationskamera (10A''-10D'') befindet und konfiguriert ist, um einen zweiten Teilbereich des Druckbetts (1004) zu erfassen.
Das Oberflächenprofilometriesystem nach Anspruch 7 oder 8, wobei das Ermitteln der Grobschichttiefenkarte der gedruckten Schicht umfasst: Konstruieren der Grobschichttiefenkarte basierend auf einer Parallaxenverschiebung zwischen Polarisationsrohbildern (18), die von der ersten und zweiten Polarisationskamera (10, 10A'-10D', 10A''-10H'') erfasst wurden.
Das Oberflächenprofilometriesystem (1000) nach Anspruch 7 oder 8, wobei das Erhalten der Grobschichttiefenkarte der gedruckten Schicht umfasst: Empfangen eines CAD-Schichtenmodells, das der gedruckten Schicht des physischen Objekts (1006) entspricht.
Das Oberflächenprofilometriesystem nach einem der Ansprüche 7 bis 10, wobei das Erzeugen des einen oder der mehreren Oberflächennormalen-Bilder umfasst: Bestimmen einer Pose der gedruckten Schicht in Bezug auf jede der einen oder mehreren Polarisationskameras (10, 10A'-10D', 10A''-10H''); Transformieren der Grobschichttiefenkarte in einen oder mehrere Kameraräume, der bzw. die dem einen oder mehreren Polarisationskameras (10, 10A'-10D', 10A''-10H'') entspricht bzw. entsprechen, um eine oder mehrere transformierte Grobschichttiefenkarten zu erzeugen; und Korrigieren des einen oder der mehreren Oberflächennormalen-Bilder basierend auf der einen oder den mehreren transformierten Grobschichttiefenkarten.
Das Oberflächenprofilometriesystem nach einem der Ansprüche 7 bis 11, wobei das Erzeugen der 3D-Rekonstruktion der gedruckten Schicht Folgendes umfasst: Integrieren der Oberflächennormalen des einen oder der mehreren Oberflächennormalen-Bilder über einen Probenraum (Ω), um eine Form einer Oberfläche der gedruckten Schicht zu bestimmen.
Das Oberflächenprofilometriesystem nach einem der Ansprüche 7 bis 12, wobei der Speicher weiterhin Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, weiterhin auszuführen: Bereitstellen der 3D-Rekonstruktion der gedruckten Schicht an ein 3D-Drucksystem (1002) als Steuerungsfeedback, wobei das 3D-Drucksystem (1002) konfiguriert ist, um das physische Objekt (1006) Schicht für Schicht additiv herzustellen.
Das Oberflächenprofilometriesystem nach Anspruch 13, wobei die Operationen der einen oder mehreren Polarisationskameras (10, 10A'-10D', 10A''-10H''), des Verarbeitungssystems (100) und des 3D-Drucksystems (1002) über ein Synchronisationssignal synchronisiert werden.
Ein Verfahren zum Erfassen eines 3D-Bildes eines Gesichts (1102), wobei das Verfahren umfasst: Empfangen von einem oder mehreren Polarisationsrohbildern (18) des Gesichts, wobei das eine oder die mehreren Polarisationsrohbilder (18) bei unterschiedlichen Polarisationen durch eine Polarisationskamera (10') in einem Abstand von dem Gesicht (1102) erfasst wurden; Extrahieren einer oder mehrerer Polarisationsmerkmalskarten (50) in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern (18); und Erzeugen einer 3D-Rekonstruktion des Gesichts (1106) basierend auf der einen oder den mehreren Polarisationsmerkmalskarten über ein neuronales Netz (1104) zur Gesichtsrekonstruktion, wobei die eine oder die mehreren Polarisationsmerkmalskarten (50) geschätzte Oberflächennormalen umfassen, und wobei das Extrahieren der einen oder mehreren Polarisationsmerkmalskarten (50) umfasst: Erzeugen der geschätzten Oberflächennormalen basierend auf dem einen oder den mehreren Polarisationsrohbildern.
Das Verfahren nach Anspruch 15, wobei die eine oder die mehreren Polarisationsmerkmalskarten in dem einen oder den mehreren Polarisationsdarstellungsräumen umfassen: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
Das Verfahren nach Anspruch 15 oder 16, wobei das neuronale Netz zur Gesichtsrekonstruktion (1104) trainiert ist, um korrigierte Oberflächennormalen basierend auf den geschätzten Oberflächennormalen zu berechnen und um die 3D-Rekonstruktion des Gesichts basierend auf den korrigierten Oberflächennormalen zu erzeugen.
Das Verfahren nach Anspruch 15, 16 oder 17, wobei das neuronale Netz zur Gesichtsrekonstruktion (1104) ein trainiertes polarisiertes faltendes neuronales Netz (CNN) umfasst.
Ein 3D-Bildgebungssystem (1100) zum Erfassen eines 3D-Bildes eines Gesichts (1102), wobei das 3D-Bildgebungssystem umfasst: eine Polarisationskamera (10'), die einen Polarisationsfilter umfasst und konfiguriert ist, um ein oder mehrere Polarisationsrohbilder (18) bei verschiedenen Polarisationen zu erfassen; und ein Verarbeitungssystem (100) mit einem Prozessor und einem Speicher, der Anweisungen speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, Folgendes durchzuführen: Empfangen von einem oder mehreren Polarisationsrohbildern (18) des Gesichts (1102), wobei das eine oder die mehreren Polarisationsrohbilder bei unterschiedlichen Polarisationen von der Polarisationskamera erfasst wurden; Extrahieren einer oder mehrerer Polarisationsmerkmalskarten (50) in einem oder mehreren Polarisationsdarstellungsräumen aus dem einen oder den mehreren Polarisationsrohbildern (18); und Erzeugen einer 3D-Rekonstruktion des Gesichts (1106) basierend auf der einen oder den mehreren Polarisationsmerkmalskarten über ein neuronales Netz zur Gesichtsrekonstruktion (1104), wobei die eine oder die mehreren Polarisationsmerkmalskarten (50) geschätzte Oberflächennormalen umfassen, und wobei das Extrahieren der einen oder mehreren Polarisationsmerkmalskarten umfasst: Erzeugen der geschätzten Oberflächennormalen basierend auf dem einen oder den mehreren Polarisationsrohbildern (18).
Das 3D-Bildgebungssystem nach Anspruch 19, wobei die eine oder die mehreren Polarisationsmerkmalskarten (50) in dem einen oder den mehreren Polarisationsdarstellungsräumen Folgendes umfassen: ein lineares Polarisationsgradbild (DOLP) in einem DOLP-Darstellungsraum; und ein lineares Polarisationswinkelbild (AOLP) in einem AOLP-Darstellungsraum.
Das 3D-Bildgebungssystem nach Anspruch 19 oder 20, wobei das neuronale Netz zur Gesichtsrekonstruktion (1104) trainiert ist, um korrigierte Oberflächennormalen basierend auf den geschätzten Oberflächennormalen zu berechnen und die 3D-Rekonstruktion des Gesichts basierend auf den korrigierten Oberflächennormalen zu erzeugen.
Das 3D-Bildgebungssystem nach Anspruch 21, wobei das neuronale Netz zur Gesichtsrekonstruktion (1104) ein trainiertes polarisiertes faltendes neuronales Netz (CNN) umfasst.
Ein Verfahren zum Erfassen eines 3D-Bildes eines Gesichts (1102'), wobei das Verfahren umfasst Empfangen von einem oder mehreren Polarisationsrohbildern (18) des Gesichts (1102'), wobei das eine oder die mehreren Polarisationsrohbilder (18) bei unterschiedlichen Polarisationen durch eine Polarisationskamera (10-1') erfasst wurden; Extrahieren von geschätzten Polarisationsmerkmalen (50) aus dem einen oder den mehreren Polarisationsrohbildern (18); Erzeugen von geschätzten Oberflächennormalen basierend auf den geschätzten Polarisationsmerkmalen; Erzeugen einer anfänglichen Grobtiefenkarte (1112) des Gesichts; Verfeinern der geschätzten Polarisationsmerkmale und der anfänglichen Grobtiefenkarte, um verfeinerte Polarisationsmerkmale und eine verfeinerte Tiefenkarte zu erzeugen; Erzeugen korrigierter Oberflächennormalen basierend auf den verfeinerten Polarisationsmerkmalen und der verfeinerten Tiefenkarte; und Erzeugen einer 3D-Rekonstruktion des Gesichts (1106') basierend auf den korrigierten Oberflächennormalen.
Das Verfahren nach Anspruch 23, wobei das Erzeugen der anfänglichen Grobtiefenkarte des Gesichts umfasst: Empfangen eines 2D-Farbbildes des Gesichtes (1102'); und Berechnen der anfänglichen Grobtiefenkarte basierend auf dem 2D-Farbbild des Gesichts.
Das Verfahren nach Anspruch 23 oder 24, wobei das Erzeugen der anfänglichen Grobtiefenkarte des Gesichts umfasst: Empfangen eines 3D-Modells eines generischen menschlichen Gesichts; und Erzeugen der anfänglichen Grobtiefenkarte basierend auf dem 3D-Modell des generischen menschlichen Gesichts.
Das Verfahren nach Anspruch 23, 24 oder 25, ferner umfassend: Bereitstellen der geschätzten Oberflächennormalen und der korrigierten Oberflächennormalen für ein neuronales Netz zur Gesichtsrekonstruktion (1104) als einen Satz von Trainingsdaten.