-
Technisches Gebiet
-
Hierin offenbarte Technologie bezieht sich auf ein Bildverarbeitungsverfahren, ein Programm, ein Bildverarbeitungsvorrichtung und ein ophthalmologisches System.
-
Hintergrund
-
In der japanischen Patentoffenlegungsschrift
JP 2015-202236 A wird Technologie zum Extrahieren von Blutgefäßregionen und Messen von Blutgefäß-Durchmessern offenbart. Es hat bislang einen Bedarf gegeben, Augenhintergrundbilder zu analysieren und Blutgefäß-Durchmesser zu messen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Technisches Problem
-
Ein Bildverarbeitungsverfahren eines ersten Aspekts von hierin offenbarter Technologie beinhaltet das Einstellen eines ersten Analysepunkts und eines zweiten Analysepunkts auf einem Augenhintergrundbild, so dass sie symmetrisch zu einer Referenzlinie sind, Auffinden einer ersten Blutgefäß-Verlaufsrichtung am ersten Analysepunkt und Auffinden einer zweiten Blutgefäß-Verlaufsrichtung am zweiten Analysepunkt und Analysieren der Symmetrie zwischen der ersten Blutgefäß-Verlaufsrichtung und der zweiten Blutgefäß-Verlaufsrichtung.
-
Ein Bildverarbeitungsverfahren eines zweiten Aspekts von hierin offenbarter Technologie beinhaltet das Einstellen von mehreren ersten Analysepunkten in einer ersten Region in einem Augenhintergrundbild und Einstellen von mehreren zweiten Analysepunkten in einer zweiten Region im Augenhintergrundbild, Auffinden einer ersten Blutgefäß-Verlaufsrichtung für jeden der mehreren ersten Analysepunkte und Auffinden einer zweiten Blutgefäß-Verlaufsrichtung für jeden der mehreren zweiten Analysepunkte, und das Definieren von mehreren Paaren eines ersten Analysepunkts und eines zweiten Analysepunkts, die Liniensymmetrie zwischen den mehreren ersten Analysepunkten und den mehreren zweiten Analysepunkten aufweisen, und Auffinden eines Symmetrie-Indikators, der Symmetrie zwischen der ersten Blutgefäß-Verlaufsrichtung und der zweiten Blutgefäß-Verlaufsrichtung für jedes der mehreren definierten Paare angibt.
-
Ein Programm eines dritten Aspekts von hierin offenbarter Technologie veranlasst das Bildverarbeitungsprogramm des ersten Aspekts oder des zweiten Aspekts, durch einen Computer ausgeführt zu werden.
-
Eine Bildverarbeitungsvorrichtung eines vierten Aspekts von hierin offenbarter Technologie beinhaltet eine Speichervorrichtung, die konfiguriert ist, ein Programm zu speichern, das ein Bildverarbeitungsverfahren veranlasst, in einer Verarbeitungsvorrichtung ausgeführt zu werden, und eine Verarbeitungsvorrichtung, die konfiguriert ist, das Bildverarbeitungsverfahren durch Ausführen des in der Speichervorrichtung gespeicherten Programms auszuführen, wobei das Bildverarbeitungsverfahren das Bildverarbeitungsverfahren des ersten Aspekts oder des zweiten Aspekts ist.
-
Ein ophthalmologisches System eines fünften Aspekts von hierin offenbarter Technologie beinhaltet die Bildverarbeitungsvorrichtung des vierten Aspekts und eine ophthalmologische Vorrichtung, die konfiguriert ist, ein Augenhintergrundbild aufzunehmen.
-
Figurenliste
-
- 1 ist ein Blockdiagramm, das ein ophthalmologisches System 100 illustriert.
- 2 ist ein schematisches Konfigurationsdiagramm, das eine Gesamtkonfiguration einer ophthalmologischen Vorrichtung 110 illustriert.
- 3 ist ein Blockdiagramm einer Konfiguration eines elektrischen Systems eines Verwaltungsservers 140.
- 4 ist ein Blockdiagramm, welches Funktionen einer CPU 162 eines Verwaltungsservers 140 illustriert.
- 5 ist ein Flussdiagramm eines Bildverarbeitungsprogramms.
- 6 ist ein Flussdiagramm eines Blutgefäß-Verlaufsrichtungsanalyse-Verarbeitungsprogramms von Schritt 210 von 5.
- 7 ist ein Flussdiagramm eines Blutgefäß-Verlaufsrichtungssymmetrie-Analyse-Verarbeitungsprogramms von Schritt 212 in 5.
- 8A ist ein Diagramm, das ein choroidales Gefäßbild illustriert.
- 8B ist ein Diagramm, das mehrere Analysepunkte illustriert, die auf einem choroidalen Gefäßbild eingestellt sind.
- 9 ist ein Diagramm, das Histogramme einer Gradientenrichtung an Analysepunkten 242, 246 illustriert, die angeordnet sind, Liniensymmetrie in Bezug auf eine gerade Linie LIN in einem choroidalen Gefäßbild aufzuweisen, das so rotiert worden ist, dass die gerade Linie LIN, die eine Makula M und einen Sehnervkopf miteinander verbindet, horizontal ist.
- 10 ist ein Diagramm, das Positionsbeziehungen zwischen einer geraden Linie LIN, jedem Analysepunkt und jedem Histogramm illustriert.
- 11 ist ein Diagramm, das einen Anzeigebildschirm 300 in einem choroidalen Gefäßanalysemodus illustriert.
- 12 ist ein Diagramm, das einen Anzeigebildschirm illustriert, der angezeigt wird, wenn ein Symmetrie-Icon 334 auf dem Anzeigebildschirm von 11 angeklickt worden ist.
- 13 ist ein Anzeigebildschirm, der angezeigt wird, wenn ein Asymmetrie-Histogrammanzeige-Icon 346 auf dem Anzeigebildschirm von 12 angeklickt worden ist.
- 14 ist ein Anzeigebildschirm, der angezeigt wird, wenn ein Asymmetrie-Farbanzeige-Icon 348 auf dem Anzeigebildschirm von 12 angeklickt worden ist.
-
BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Es folgt eine detaillierte Erläuterung hinsichtlich einer beispielhaften Ausführungsform in der vorliegenden Erfindung, unter Bezugnahme auf die Zeichnungen. Nachfolgend wird für eine einfache Erläuterung ein Scanning-Laser-Ophthalmoskop als ein „SLO“ bezeichnet.
-
Die Konfiguration eines ophthalmologischen Systems 100 wird nunmehr unter Bezugnahme auf 1 beschrieben. Wie in 1 illustriert, beinhaltet das ophthalmologische System 100 eine ophthalmologische Vorrichtung 110, ein Augenachsenlängen-Messinstrument 120, eine Verwaltungsserver-Vorrichtung (nachfolgend als „Verwaltungsserver“ bezeichnet) 140, und eine Bildanzeigevorrichtung (nachfolgend als „Bildbetrachter“ bezeichnet) 150. Die ophthalmologische Vorrichtung 110 erfasst Augenhintergrundbilder. Die Augenachsenlängen-Messinstrument 120 misst die Achsenlänge von Patientenaugen. Der Verwaltungsserver 140 speichert mehrere Augenhintergrundbilder und Augenachsenlängen, welche durch Aufnehmen der Augenhintergründe von vielen Patienten unter Verwendung der ophthalmologischen Vorrichtung 110 erhalten werden, gespeichert in Assoziierung mit den entsprechenden Patienten-IDs.
-
Die ophthalmologische Vorrichtung 110, die Augenachsenlängen-Messinstrument 120, der Verwaltungsserver 140 und der Bildbetrachter 150 sind miteinander über ein Netzwerk 130 verbunden.
-
Es ist anzumerken, dass andere ophthalmologische Instrumente (Instrumente zum Durchführen von Untersuchungen, wie optische Kohärenz-Tomographie (OCT)-Messung, Sichtfeldmessung und intra-okulare Druckmessung) und eine Diagnostik-Unterstützungsvorrichtung, die Bildanalyse unter Verwendung künstlicher Intelligenz durchführt, über das Netzwerk 130 mit der ophthalmologischen Vorrichtung 110, dem Augenachsenlängen-Messinstrument 120, dem Verwaltungsserver 140 und dem Bildbetrachter 150 verbunden sein können.
-
Es folgt einer Erläuterung hinsichtlich einer Konfiguration der ophthalmologischen Vorrichtung 110 unter Bezugnahme auf 2. Wie in 2 illustriert, beinhaltet die ophthalmologische Vorrichtung 110 eine Steuereinheit 20, eine Anzeige/Bedieneinheit 30, und eine SLO-Einheit 40, und nimmt das posteriore Segment (Augenhintergrund) des untersuchten Auges 12 auf. Weiterhin kann eine (nicht illustrierte OCT-Einheit zum Erfassen von OCT-Daten eines Augenhintergrundes vorgesehen sein.
-
Die Steuereinheit 20 beinhaltet eine CPU 22, einen Speicher 24, eine Kommunikationsschnittstelle-I/F 26 und dergleichen. Die Anzeige/Bedieneinheit 30 ist eine graphische Benutzerschnittstelle zur Anzeige von Bildern, die durch Aufnehmen erhalten werden, und zum Empfangen verschiedener Anweisungen einschließlich einer Aufnahmeanweisung. Die Anzeige/Bedieneinheit 30 beinhaltet auch eine Anzeige 32 und eine Eingabe/Anweisungsvorrichtung 34, wie etwa ein Touch-Panel.
-
Die SLO-Einheit 40 beinhaltet eine Lichtquelle für grünes Licht (G-Licht: Wellenlänge 530 nm), eine Lichtquelle 44 für rotes Licht (R-Licht: Wellenlänge 650 nm) und eine Lichtquelle 46 für Infrarotstrahlung (IR-Licht (Nah-Infrarotlicht): Wellenlänge 800 nm). Die Lichtquellen 42, 44, 46 emittieren jeweils Licht wie befohlen durch die Steuereinheit 20. Die SLO-Einheit 40 beinhaltet optische Systeme 50, 52, 54 und 56, welche Licht aus den Lichtquellen 42, 44 und 46 nacheinander reflektieren oder transmittieren, um das reflektierte Licht in einen einzelnen optischen Pfad zu führen. Die optischen Systeme 50 und 56 sind Spiegel und die optischen Systeme 52 und 54 sind Strahlteiler. Das G-Licht wird durch die optischen Systeme 50 und 54 reflektiert, das R-Licht wird durch die optischen Systeme 52 und 54 transmittiert, und das IR-Licht wird durch die optischen Systeme 52 und 56 reflektiert, so dass alle in einen einzelnen optischen Pfad geführt werden.
-
Die SLO-Einheit 40 beinhaltet ein Weitwinkel-Optiksystem 80 zum zweidimensionalen Abtasten von Licht aus den Lichtquellen 42, 44, 46 über das posteriore Segment (Augenhintergrund) des untersuchten Auges 12. Die SLO-Einheit 40 beinhaltet einen Strahlteiler 58, der, von dem Licht aus dem posterioren Segment (Augenhintergrund) des untersuchten Auges 12, das G-Licht reflektiert und anderes Licht als das G-Licht transmittiert. Die SLO-Einheit 40 beinhaltet einen Strahlteiler 60, der, von dem durch den Strahlteiler 58 transmittierten Licht, das R-Licht reflektiert und anderes Licht als das R-Licht transmittiert. Die SLO-Einheit 40 beinhaltet einen Strahlteiler 62, der von dem Licht, welches durch den Strahlteiler 60 transmittiert worden ist, das IR-Licht reflektiert. Die SLO-Einheit 40 ist mit einem G-Licht-Detektionselement 72 ausgerüstet, welches das vom Strahlteiler 58 reflektierte G-Licht detektiert, einem R-Licht-Detektionselement 74, welches das durch den Strahlteiler 60 reflektierte R-Licht detektiert, und ein IR-Licht-Detektionselement 76, welches durch den Strahlteiler 62 reflektiertes IR-Licht detektiert.
-
Das Weitwinkel-Optiksystem 80 beinhaltet eine X-Richtungs-Scan-Vorrichtung 82, die durch einen Polygonspiegel konfiguriert ist, um Licht aus den Lichtquellen 42, 44, 46 in einer X-Richtung zu scannen, eine Y-Richtungs-Scan-Vorrichtung 84, die konfiguriert ist durch einen Galvanometerspiegel, um das Licht aus den Lichtquellen 42, 44, 46 in einer Y-Richtung zu scannen und ein Optiksystem 86, das einen nicht illustrierten Schlitzspiegel und einen elliptischen Spiegel beinhaltet, um den Winkel, über welchen das Licht gescannt wird, zu verbreitern. Das Optiksystem 86 ist in der Lage, ein Sichtfeld (FOV, Field of View) des Augenhintergrundes eines Augenhintergrundperipheriebereich-Ultraweitwinkels (Ultraweitfeld) zu erzielen, was es ermöglicht, dass eine Augenhintergrundregion über einen breiten Bereich aufgenommen wird. Spezifischer kann eine Augenhintergrundregion über einen weiten Bereich von etwa 120 Grad externen Beleuchtungswinkels von außerhalb des untersuchten Auges 12 aufgenommen werden (ungefähr 200 Grad über ein Augapfel-Zentrum O des untersuchten Auges als eine Referenzposition für einen internen Lichtbeleuchtungswinkel, der in der Lage ist, in der Praxis durch Beleuchten des Augenhintergrunds des untersuchten Auges 12 mit einem Abtastlicht aufgenommen zu werden). Das Optiksystem 86 kann konfiguriert werden unter Einsatz von mehreren Linsensätzen statt eines Schlitzspiegels und elliptischen Spiegels. Die X-Richtungs-Scan-Vorrichtung 82 und die Y-Richtungs-Scan-Vorrichtung 84 können beide auch Scan-Vorrichtungen sein, die einen zweidimensionalen Scanner einsetzen, der durch MEMS-Spiegel konfiguriert ist.
-
Eine Konfiguration kann ein System einsetzen, das einen elliptischen Spiegel verwendet, wie in den Internationalen Anmeldungen PCT/
JP2014/084619 oder
PCT/JP2014/084631 beschrieben, in Fällen, in denen ein, einen Schlitzspiegel und einen elliptischen Spiegel beinhaltendes System als das Optiksystem
86 verwendet wird. Die entsprechenden Offenbarungen der Internationalen Anmeldungen
PCT/JP2014/084619 (Internationale Veröffentlichung
WO 2016/103484 A ), eingereicht am
26. Dezember 2014, und Internationale Anmeldung PCT/
JP2014/084630 (Internationale Veröffentlichung
WO 2016/103489 A ), eingereicht am
26. Dezember 2014, werden hierin in ihrer Gesamtheit unter Bezugnahme inkorporiert.
-
Es ist anzumerken dass, wenn die ophthalmologische Vorrichtung 110 auf einer horizontalen Ebene installiert ist, die „X-Richtung“ einer horizontalen Richtung entspricht und die „Y-Richtung“ einer Richtung rechtwinklig zur horizontalen Ebene entspricht. Eine Richtung, die das Pupillen-Zentrum des anterioren Augenbereichs des untersuchten Auges 12 und des Zentrum des Augapfels verbindet, wird als die „Z-Richtung“ bezeichnet. Die X-Richtung, die Y-Richtung und die Z-Richtung sind entsprechend rechtwinklig zueinander.
-
Ein Farb-Augenhintergrundbild wird durch Aufnehmen des Augenhintergrunds des untersuchten Auges 12 simultan mit G-Licht und R-Licht erhalten. Spezifischer steuert die Steuereinheit 20 die Lichtquellen 42, 44 so, dass die Lichtquellen 42, 44 Licht gleichzeitig emittieren und scannt das G-Licht und R-Licht über den Augenhintergrund des untersuchten Auges 12 unter Verwendung des Weitwinkel-Optiksystems 80. Vom Augenhintergrund des untersuchten Auges 12 reflektiertes G-Licht wird durch das G-Licht-Detektionselement 72 detektiert und Bilddaten eines zweiten Augenhintergrundbilds (eines G-Augenhintergrundbilds) werden durch die CPU 22 der ophthalmologischen Vorrichtung 110 erzeugt. Ähnlich wird vom Augenhintergrund des untersuchten Auges 12 reflektiertes R-Licht durch das R-Licht-Detektionselement 74 detektiert und es werden Bilddaten des ersten Augenhintergrundbilds (R-Augenhintergrundbilds) durch die CPU 22 der ophthalmologischen Vorrichtung 110 erzeugt. In Fällen, in welchem das IR-Licht leuchtengelassen wird, wird das vom Augenhintergrund des untersuchten Auges 12 reflektierte IR-Licht durch das IR-Licht-Detektionselement 76 detektiert und werden Bilddaten eines IR-Augenhintergrundbildes durch die CPU 22 der ophthalmologischen Vorrichtung 110 erzeugt.
-
Die Struktur des Auges ist durch den Glaskörper konfiguriert, der durch mehrere Schichten abgedeckt ist, die alle eine unterschiedliche Struktur aufweisen. Diese mehreren Schichten beinhalten die Retina, die Aderhaut, und die Sklera in Abfolge ab der Seite am nächsten am Glaskörper nach außen. R-Licht passiert die Retina und läuft bis zur Aderhaut. Entsprechend beinhaltet das erste Augenhintergrundbild (R-Augenhintergrundbild) Information, die sich auf Blutgefäße bezieht, die in der Retina vorhanden sind (Retina-Blutgefäße) und Information, die sich auf Blutgefäße bezieht, die in der Aderhaut vorhanden sind (Aderhaut-Blutgefäße). Im Gegensatz dazu reicht G-Licht nur bis zur Retina. Entsprechend beinhaltet das zweite Augenhintergrundbild (G-Augenhintergrundbild) Information, die sich auf die Blutgefäße (Retina-Blutgefäße) bezieht, die in der Retina vorliegen.
-
Die CPU 22 der ophthalmologischen Vorrichtung 110 mischt das erste Augenhintergrundbild (R-Augenhintergrundbild) und das zweite Augenhintergrundbild (G-Augenhintergrundbild) in einem spezifischen Verhältnis zusammen, und zeigt das resultierende Farb-Augenhintergrundbild auf der Anzeige 32 an. Es ist anzumerken, dass eine Konfiguration eingesetzt werden kann, in der statt des Augenhintergrundbilds das erste Augenhintergrundbild (R-Augenhintergrundbild), das zweite Augenhintergrundbild (G-Augenhintergrundbild) und eine IR-Augenhintergrundbild angezeigt werden.
-
Bilddaten des ersten Augenhintergrundbilds (R-Augenhintergrundbild), Bilddaten des zweiten Augenhintergrundbilds (G-Augenhintergrundbild) und Bilddaten des IR-Augenhintergrundbilds werden aus der ophthalmologischen Vorrichtung 110 an den Verwaltungsserver 140 über die Kommunikations-IF 166 gesendet und im später beschriebenen Speicher 164 gespeichert.
-
Das Augenhintergrundbild des untersuchten Auges 12 wird entsprechend durch das G-Licht und das R-Licht gleichzeitig aufgenommen und so sind alle der Positionen des ersten Augenhintergrundbilds (R-Augenhintergrundbilds) und der Positionen des zweiten Augenhintergrundbilds (G-Augenhintergrundbilds) entsprechend diesen jeweiligen Positionen dieselben Positionen auf dem Augenhintergrund.
-
Das Augenachsenlängen-Messinstrument 120 in 1 weist zwei Modi zum Messen der Augenachsenlänge auf, wobei dies die Länge des untersuchten Auges in einer Augenachsenrichtung (Z-Richtung) ist, nämlich einen ersten Modus und einen zweiten Modus. Im ersten Modus wird Licht aus einer nicht illustrierten Lichtquelle zum untersuchten Auge 12 geleitet, und wird aus der Interferenz zwischen reflektiertem Licht aus dem Augenhintergrund und reflektiertem Licht aus der Hornhaut empfangen, und wird die Augenachsenlänge basierend auf einem Interferenzsignal, welches durch das empfangene Interferenzlicht repräsentiert wird, gemessen. Der zweite Modus ist ein Modus, in welchem nicht illustrierte Ultraschallwellen verwendet werden, um die Augenachsenlänge zu messen. Das Augenachsenlängen-Messinstrument 120 sendet die unter Verwendung entweder des ersten Modus oder des zweiten Modus gemessene Augenachsenlänge an den Verwaltungsserver 140. Die Augenachsenlänge kann unter Verwendung sowohl des ersten Modus als auch des zweiten Modus gemessen werden, in welchem Fall ein Durchschnitt der Augenachsenlängen, welche durch die zwei Modi gemessen sind, an den Verwaltungsserver 140 als die Augenachsenlänge gesendet wird.
-
Als ein Datenelement zu einem Patienten wird die Augenachsenlänge im Speicher 164 als Patienteninformation im Verwaltungsserver 140 gespeichert und wird auch bei der Augenhintergrundbild-Analyse eingesetzt.
-
Als Nächstes wird eine Konfiguration des Verwaltungsservers 140 unter Bezugnahme auf 3 beschrieben. Wie in 3 illustriert, beinhaltet der Verwaltungsserver 140 eine Steuereinheit 160, und eine Anzeige/Bedieneinheit 170. Die Steuereinheit 160 ist mit einem Computer ausgestattet, der eine CPU 162, einen Speicher 164, der konfiguriert ist durch eine Speichervorrichtung, eine Kommunikationsschnittstelle (I/F) 166 und dergleichen beinhaltet. Es ist anzumerken, dass ein Bildverarbeitungsprogramm im Speicher 164 gespeichert wird. Die Anzeige/Bedieneinheit 170 ist eine graphische Benutzerschnittstelle zum Anzeigen von Bildern und zum Empfangen verschiedener Anweisungen. Die Anzeige/Bedieneinheit 170 beinhaltet eine Anzeige 172 und eine Eingabe/Anweisungsvorrichtung 174 wie etwa Touch-Panel. Der Verwaltungsserver 140 ist ein Beispiel einer „Bildverarbeitungsvorrichtung“ von hierin offenbarter Technologie.
-
Die Konfiguration des Bildbetrachters 150 ist ähnlich zum Verwaltungsserver 140, und somit wird eine Beschreibung desselben weggelassen.
-
Als Nächstes folgt eine Beschreibung hinsichtlich jeder von verschiedenen Funktionen, welche durch die CPU 162 des Verwaltungsservers 140 implementiert wird, der das Bildverarbeitungsprogramm ausführt, unter Bezugnahme auf 4. Das Bildverarbeitungsprogramm beinhaltet eine Bildverarbeitungsfunktion, eine Anzeigesteuerfunktion und eine Verarbeitungsfunktion. Dadurch, dass die CPU 162 das Bildverarbeitungsprogramm, das jede dieser Funktionen beinhaltet, ausführt, fungiert die CPU 162 als ein Bildverarbeitungsabschnitt 182, einen Anzeigesteuerabschnitt 184 und einen Verarbeitungsabschnitt 186, wie in 4 illustriert.
-
Als Nächstes folgt unter Bezugnahme auf 5 eine detaillierte Beschreibung hinsichtlich der Bildverarbeitung durch den Verwaltungsserver 140. Die Bildverarbeitung, die im Flussdiagramm von 5 illustriert ist, wird durch die CPU 162 des Verwaltungsservers 140, welche das Bildverarbeitungsprogramm ausführt, implementiert.
-
Das Bildverarbeitungsprogramm wird durch den Verwaltungsserver 140 ausgeführt, beim Erzeugen eines choroidalen Gefäßbilds, basierend auf den Bilddaten der Augenhintergrundbilder, die durch die ophthalmologische Vorrichtung 110 aufgenommen werden.
-
Ein choroidales Gefäßbild wird in der folgenden Weise erzeugt. Der Bildverarbeitungsabschnitt 182 des Verwaltungsservers 140 unterwirft das zweite Augenhintergrundbild (G-Augenhintergrundbild) einer Schwarzhut- (black hat) Filterverarbeitung, um so die retinalen Blutgefäße aus dem zweiten Augenhintergrundbild (G-Augenhintergrundbild) zu extrahieren. Als Nächstes entfernt der Bildverarbeitungsabschnitt 182 die retinalen Blutgefäße aus dem ersten Augenhintergrundbild (R-Augenhintergrundbild) durch Durchführen von Übermalverarbeitung (in-painting), welche die retinalen Blutgefäße einsetzt, die aus dem zweiten Augenhintergrundbild (G-Augenhintergrundbild) extrahiert werden. Das heißt, es wird eine Verarbeitung durchgeführt, die Positionsinformation verwendet, die sich auf die aus dem zweiten Augenhintergrundbild extrahierten retinalen Blutgefäße bezieht (G-Augenhintergrundbild), um die retinale Blutgefäßstruktur im ersten Augenhintergrundbild (R-Augenhintergrundbild) mit denselben Werten wie jene von umgebenden Pixeln aufzufüllen. Der Bildverarbeitungsabschnitt 182 unterwirft dann die Bilddaten des ersten Augenhintergrundbilds (R-Augenhintergrundbilds), aus welchen die retinalen Blutgefäße entfernt worden sind, einer Kontrast-limitierten adaptiven Histogramm-Equilisierung, wodurch die choroidalen Blutgefäße im ersten Augenhintergrund (R-Augenhintergrundbild verstärkt werden. Ein choroidales Gefäßbild, wie in 8A illustriert, wird dadurch erhalten. Das erzeugte choroidale Gefäßbild wird im Speicher 164 gespeichert. Das choroidale Gefäßbild ist ein Beispiel eines „Augenhintergrundbilds“ von hierin offenbarter Technologie.
-
Darüber hinaus, obwohl das choroidale Gefäßbild aus dem ersten Augenhintergrundbild (R-Augenhintergrundbild) und dem zweiten Augenhintergrundbild (G-Augenhintergrundbild) erzeugt wird, und kann der Bildverarbeitungsabschnitt
182 als Nächstes ein choroidales Gefäßbild erzeugen, indem er das erste Augenhintergrundbild (R-Augenhintergrundbild) oder das mit dem IR-Licht aufgenommene IR-Augenhintergrundbild einsetzt. Hinsichtlich des Verfahrens, das zum Erzeugen des choroidalen Augenhintergrundbilds verwendet wird, wird die Offenbarung der
japanische Patentanmeldung Nr. 2018-052246 A , eingereicht am 20. März 2018, unter Bezugnahme in ihrer Gesamtheit hierin inkorporiert.
-
Wenn das Bildverarbeitungsprogramm gestartet wird, liest im Schritt 202 von 5 der Verarbeitungsabschnitt 186 das choroidale Gefäßbild (siehe 8A) und das G-Augenhintergrundbild aus dem Speicher 164 aus. Die Makula und der Sehnervkopf werden klar in dem G-Augenhintergrundbild bildgebend erfasst und die Makula und der Sehnervkopf werden leichter durch Bildverarbeitung darin als im choroidalen Gefäßbild unterschieden. Das G-Augenhintergrundbild wird entsprechend eingesetzt, um die Positionen der Makula und des Sehnervkopfs wie unten beschrieben zu detektieren.
-
Im Schritt 204 detektiert der Bildverarbeitungsabschnitt 182 den Sehnervkopf ONH (siehe auch 9) im G-Augenhintergrundbild. Grünes (G) Laserlicht wird auf der Retinaschicht reflektiert und so kann das mit dem G-Laserlicht aufgenommene G-Augenhintergrundbild eingesetzt werden, um die Struktur der Retina zu extrahieren. Da der Sehnervkopf ONH die hellste Region im G-Augenhintergrundbild ist, detektiert der Bildverarbeitungsabschnitt 182 eine Region einer spezifischen Anzahl von Pixeln mit den höchsten Pixelwerten im wie oben eingelesenen G-Augenhintergrundbild als den Sehnervkopf (ONH). Die Position im Zentrum der Region, welche die hellsten Pixel enthält, wird als Koordinaten der Position des Sehnervkopfs (ONH) berechnet und im Speicher 164 gespeichert.
-
Im Schritt 206 detektiert der Bildverarbeitungsabschnitt 182 die Makula M (siehe auch 9) aus dem G-Augenhintergrundbild. Spezifisch ist die Makula eine dunkle Region im choroidalen Gefäßbild und so detektiert der Bildverarbeitungsabschnitt 182 eine Region einer spezifischen Anzahl von Pixeln mit den niedrigsten Pixelwerten im choroidalen Gefäßbild, das wie oben beschrieben eingelesen ist, als die Makula M. Die Koordinaten der Position im Zentrum der Region, welche die dunkelsten Pixel enthält, wird als Koordinaten der Position der Makula M berechnet und im Speicher 164 gespeichert.
-
Im Schritt 208 liest der Bildverarbeitungsabschnitt 182 die Koordinaten der Makula M und die Koordinaten des Sehnervkopfs ONH, der aus dem G-Augenhintergrundbild berechnet ist, wie in 8B und 9 illustriert, aus. Der Bildverarbeitungsabschnitt 182 stellt die gelesenen jeweiligen Koordinaten auf das choroidale Gefäßbild ein und stellt eine gerade Linie LIN, welche die Makula M und den Sehnervkopf ONH verbindet, auf dem choroidalen Gefäßbild ein.
-
Da das choroidale Gefäßbild aus dem G-Augenhintergrundbild und dem R-Augenhintergrundbild erzeugt wird, passen die Koordinaten der Makula M und die Koordinaten des Sehnervkopfs ONH, detektiert mit dem G-Augenhintergrundbild, auch zur Position der Makula M und der Position des Sehnervkopfs ONH auf dem choroidalen Gefäßbild. Der Bildverarbeitungsabschnitt 182 rotiert das choroidale Gefäßbild so, dass die gerade Linie LIN horizontal ist.
-
Im Schritt 210 analysiert der Bildverarbeitungsabschnitt 182 die Blutgefäß-Verlaufsrichtungen der choroidalen Blutgefäße, im Schritt 212 analysiert der Bildverarbeitungsabschnitt 182 die Symmetrie der Blutgefäß-Verlaufsrichtungen des choroidalen Blutgefäßes, und im Schritt 214 speichert der Bildverarbeitungsabschnitt 182 die Analyseergebnisse im Speicher 164.
-
Die Verarbeitung von Schritte 210 und 212 wird im Detail später beschrieben.
-
Die Blutgefäßverlaufsrichtungs-Analyseverarbeitung von Schritt 210 wird als Nächstes beschrieben, unter Bezugnahme auf 6, 8B und 9. Im Schritt 222 von 6 stellt der Bildverarbeitungsabschnitt 182 die Analysepunkte in der nachfolgenden Weise ein.
-
Wie in 8B illustriert, werden eine erste Region 274 und eine zweite Region 272 im choroidalen Gefäßbild durch die gerade Linie LIN eingestellt. Spezifisch ist die erste Region Positionen über der geraden Linie LIN und ist die zweite Region Positionen unter der geraden Linie LIN.
-
Der Bildverarbeitungsabschnitt 182 ordnet Analysepunkte 240KU in der ersten Region 274 so an, dass sie in einem Rastermuster mit gleichförmiger Beabstandung und M (natürliche Zahl) Reihen in der Auf-Ab-Richtung und N (natürliche Zahl) Spalten in der Links-Rechts-(Horizontal)-Richtung positioniert sind. In 8B ist die Anzahl von Analysepunkten in der ersten Region 264 M(3) × N(7) (= L:21). Es ist anzumerken, dass das choroidale Gefäßbild entsprechend einer konformalen Projektion angezeigt wird, wobei die Analysepunkte in einem Gittermuster positioniert sind, falls jedoch das choroidale Gefäßbild unter Verwendung einer anderen Projektion angezeigt wird, ordnet dann der Bildverarbeitungsabschnitt 182 die Analysepunkte in einem Muster passend zu dieser Projektion an.
-
Der Bildverarbeitungsabschnitt 182 ordnet Analysepunkte 240KD in der zweiten Region 272 an Positionen an, die eine Liniensymmetrie in Bezug auf die gerade Linie LIN zu den in der ersten Region 274 angeordneten Analysepunkten 240KU aufweisen, an.
-
Es ist anzumerken, dass es keine Begrenzung bei der Positionierung in einem Rastermuster gleichförmiger Beabstandung gibt, solange wie die Analysepunkte 240KU, 240KD in der ersten Region 274 und der zweiten Region 272 an Positionen positioniert sind, die Liniensymmetrie unter Bezug auf die gerade Linie LIN aufweisen, und Konfigurationen ohne eine gleichförmige Beabstandung, oder mit einem Gittermuster können auch verwendet werden.
-
Die Größe der ersten Region 274 und der zweiten Region 272 kann anhand der Augenachsenlänge verändert werden. L, M und N können auch auf verschiedene Werte eingestellt werden, ohne Beschränkung auf jene im oben beschriebenen Beispiel. Das Steigern der Anzahl derselben steigert die Auflösung.
-
Im Schritt 224 berechnet der Bildverarbeitungsabschnitt 182 die Blutgefäß-Verlaufsrichtung der choroidalen Blutgefäße an jedem der Analysepunkte. Spezifisch wiederholt der Bildverarbeitungsabschnitt 182 die unten beschriebene Verarbeitung für alle Analysepunkte. Das heißt, wie in 9 illustriert, dass für ein zentrales Pixel entsprechend einem Analysepunkt 242 der Bildverarbeitungsabschnitt 182 eine Region (Zelle) 244 einstellt, die durch mehrere Pixel konfiguriert ist, die dieses zentrale Pixel im Zentrum umgeben.
-
Die Region 244 ist in 8B und 9 nach Oben-Unten-Umkehrung illustriert. Dies wird vorgenommen, um den Vergleich mit einer Region 248 zu erleichtern, die einen Analysepunkt 245 auf der oberen Seite des Paars enthält.
-
Der Bildverarbeitungsabschnitt 182 berechnet dann die Helligkeits-Gradientenrichtung für jedes der Pixel in der Zelle 244 (ausgedrückt als ein Winkel von 0° bis zu aber nicht einschließlich 180°, wobei 0° als die Richtung der geraden Linie (horizontale Linie) definiert ist), basierend auf den Helligkeitswerten der das berechnet werdende Pixel umgebenden Pixel. Die Gradientenrichtungs-Berechnung wird für alle Pixel in der Zelle 244 durchgeführt.
-
Als Nächstes, um ein Histogramm 242H mit neun Bins (wobei jede Binbreite 20° beträgt) von Gradientenrichtungen 0°, 20°, 40°, 60°, 80°, 100°, 120°, 140° und 160° unter Bezugnahme auf eine Winkel-Referenzlinie zu erzeugen, zählt der Bildverarbeitungsabschnitt 182 die Anzahl von Pixeln innerhalb der Zelle 244, mit einer jedem dieser Bins entsprechenden Gradientenrichtung. Die Winkel-Referenzlinie ist die gerade Linie LIN. Die Breite eines einzelnen Bins im Histogramm beträgt 20° und die Anzahl (Zählwert) von Pixeln in der Zelle 244 mit einer Gradientenrichtung von ab 0° bis zu aber nicht einschließlich 10°, oder einer Gradientenrichtung ab 170° bis zu, aber nicht einschließlich 180° wird für das 0°-Bin eingestellt. Die Anzahl (Zählwert) von Pixeln in der Zelle 244 mit einer Gradientenrichtung von ab 10°, bis zu aber nicht einschließlich 30°, wird für das 20°-Bin eingestellt. Die Zählwerte für die Bins 40°, 60°, 80°, 100°, 120°, 140° und 160° werden in ähnlicher Weise eingestellt. Aufgrund dem, dass es neun Bins im Histogramm 242 gibt, ist die Blutgefäß-Verlaufsrichtung an Analysepunkt 242 als in einer von neun Richtungstypen definiert. Es ist anzumerken, dass die Auflösung der Blutgefäß-Verlaufsrichtung durch Einengen der Breite jedes Bins und der Höhen der Anzahl von Bins gesteigert werden kann.
-
Die Zählwerte jedes der Bins (die Vertikalachse im Histogramm 242H) wird normalisiert und das Histogramm 242H wird für den in 9 illustrierten Analysepunkt 242 erzeugt.
-
Als Nächstes identifiziert der Bildverarbeitungsabschnitt 182 die Blutgefäß-Verlaufsrichtung an jedem Analysepunkt aus dem Histogramm 242H. Spezifisch wird das Bin mit dem Winkel, der den kleinsten Zählwert aufweist, im in 9 illustrierten Beispiel das 60° Bin, identifiziert, und wird 60°, welches die Gradientenrichtung des identifizierten Bins ist, als die Blutgefäß-Verlaufsrichtung des Analysepunkts 242 identifiziert. Die Gradientenrichtung mit dem kleinsten Zähler wird als die Blutgefäß-Verlaufsrichtung aus dem nachfolgenden Grund genommen. Es gibt einen kleinen Helligkeitsgradienten längs der Blutgefäß-Verlaufsrichtung, es gibt jedoch einen größeren Helligkeitsgradienten in anderen Richtungen (beispielsweise gibt es eine große Differenz bei der Helligkeit zwischen Blutgefäßen und anderem Gewebe als Blutgefäßen). Somit, wenn Histogramme von einem Helligkeitsgradienten für jedes der Pixel erzeugt werden, ist dann der Zählwert für das Bin entlang der Blutgefäß-Verlaufsrichtung klein.
-
Ein Histogramm 246H wird in ähnlicher Weise für eine Zelle 248 erzeugt, die für den Analysepunkt 246 eingestellt wird. Das 160°-Bin wird als das Bin identifiziert, das von den Bins des Histogramms 264H den kleinsten Zähler aufweist. Die Blutgefäß-Verlaufsrichtung des Analysepunkts 246 wird entsprechend als 160° identifiziert.
-
Das Histogramm 242H und das Histogramm 246H sind Beispiele eines „ersten Histogramms“ und eines „zweiten Histogramms“ der hierin offenbarten Technologie.
-
Durch Durchführen der oben beschriebenen Verarbeitung für alle Analysepunkte in sowohl der ersten Region als auch der zweiten Region werden die Blutgefäß-Verlaufsrichtungen für jeden der in dem choroidalen Gefäßbild eingestellten Analysepunkte identifiziert. Das heißt, dass Histogramme für jeden der Analysepunkte abgeleitet werden, wie in 10 illustriert. In 10 wird die Anordnung der Histogrammanzeige in der zweiten Region unter der geraden Linie LIN verändert. Das einem Analysepunkt U1 in 10 entsprechende Histogramm ist ein Histogramm U1H, und das einem Vergleichsziel-Analysepunkt D1 entsprechende Histogramm ist ein Histogramm D1H. Die Anordnungen von Histogrammen in der ersten Region und der zweiten Region passen entsprechend (die Histogramme in der zweiten Region sind in derselben Abfolge wie jene in der ersten Region angeordnet).
-
Im Schritt 226 speichert der Bildverarbeitungsabschnitt 182 die nachfolgenden Daten. Das heißt, dass der Bildverarbeitungsabschnitt 182 im Speicher 164 die Position der Makula M, die Position des Sehnervkopfs ONH, den Rotationswinkel zum Durchrotieren des choroidalen Gefäßbilds, um die gerade Linie LIN horizontal zu machen, die Positionen (XY-Koordinaten) jedes der Analysepunkte (L-Analysepunkte), Paarungsinformation zwischen Analysepunkten, die Liniensymmetrie unter Referenz auf die gerade Linie LIN aufweisen (Paare von Nummern entsprechend Analysepunkten in den ersten und zweiten Regionen) die Blutgefäß-Verlaufsrichtung an jedem der Analysepunkte und das Histogramm an jedem der Analysepunkte speichert.
-
Als Nächstes folgt unter Bezugnahme auf 7 eine Beschreibung hinsichtlich der Blutgefäß-Verlaufsrichtungssymmetrie-Analyseverarbeitung von Schritt 212 von 5. Im Schritt 232 von 7 liest der Bildverarbeitungsabschnitt 182 entsprechende Analysepunkte oben und unten (in den ersten und zweiten Regionen) aus, und liest die Blutgefäß-Verlaufsrichtung an jedem der Punkte aus. Spezifisch liest der Bildverarbeitungsabschnitt 182 die Analysepunkte und die Blutgefäß-Verlaufsrichtung an jedem dieser Punkte für jedes Paar von Analysepunkten mit Liniensymmetrie unter Referenz auf die gerade Linie LIN aus.
-
In Schritt 234 berechnet der Bildverarbeitungsabschnitt 182 einen asymmetrischen Indikatorwert für Paare von Analysepunkten mit Liniensymmetrie unter Referenz auf die gerade Linie LIN. Der asymmetrische Indikatorwert ist eine Differenz bei den Blutgefäß-Verlaufsrichtungen und diese Differenz wird aus den Histogrammen an jedem der Analysepunkte des entsprechenden Paars aufgefunden. Eine Differenz Δh in Zählern zwischen jeder entsprechenden Gradnummern-Bin in einem gegebenen Histogrammpaar wird gefunden und dann wird Δh quadriert. Dann wird die Summe von Δh2 für alle Bins durch Berechnung von ∑Δh2 aufgefunden. Je größer der Wert von ∑Δh2, desto größer ist die Differenz bei der Form zwischen Histogrammen, desto größer die Asymmetrie dazwischen und desto kleiner der Wert derselben, desto näher die Form der Histogramme und desto kleiner die Asymmetrie.
-
Die Histogramme an jedem der Analysepunkte in den entsprechenden Paaren sind Beispiele einer „ersten Blutgefäß-Verlaufsrichtung“ und einer „zweiten Blutgefäß-Verlaufsrichtung“ der hierin offenbarten Technologie.
-
Es ist anzumerken, dass der asymmetrische Indikatorwert nicht auf eine solche Summe quadrierter Differenzen zwischen den Histogrammen der Analysepunkten in den entsprechenden Paaren beschränkt ist. Ein repräsentativer Winkel kann aus den Histogrammen an den Analysepunkten in den entsprechenden Paaren bestimmt werden und eine Absolutwertdifferenz daraus berechnet werden.
-
Im Schritt 236 detektiert der Bildverarbeitungsabschnitt 182 Paare von asymmetrischen Analysepunkten. Spezifisch detektiert der Bildverarbeitungsabschnitt 182 jegliche Paare, für welche der asymmetrische Indikatorwert für das Paar einen Schwellenwert oder größer als solcher ist, die asymmetrische Analysepunkte sind. Der Schwellenwert ist ein Festwert, der vorab eingestellt wird, oder ist ein Gesamt-Durchschnittswert der asymmetrischen Indikatorwerte für die Paare.
-
10 ist ein Diagramm, welches Analyseergebnisse des Schritts 236 illustriert. Der Analysepunkt U1 in der ersten Region (obere Region 274) und der Analysepunkt D1 in der zweiten Region (untere Region 272) sind ein Paar mit einer Liniensymmetrie-Beziehung und ähnlich sind der Analysepunkt U11 und der Analysepunkt D1 auch ein Paar mit einer Liniensymmetrie-Beziehung. Die Ergebnisse der Analyse im Schritt 234 sind, dass diese Paare bestimmt werden, asymmetrische Indikatorwerte des Schwellenwerts oder größer aufzuweisen und werden entsprechend als Paare asymmetrischer Analysepunkte identifiziert. Der Pfeil UA1 ist ein Pfeil, der die Blutgefäß-Verlaufsrichtung beim Analysepunkt U1 angibt, eine Richtung von 160°. Ähnlich ist der Pfeil DA1 ein Pfeil, der die Blutgefäß-Verlaufsrichtung am Analysepunkt D1 angibt, eine Richtung von 60°. Der Pfeil UA11 ist ein Pfeil, der die Blutgefäß-Verlaufsrichtung am Analysepunkt U11 angibt, eine Richtung von 160°. Ähnlich ist der Pfeil DA11 ein Pfeil, der die Blutgefäß-Verlaufsrichtung am Analysepunkt D11 angibt, eine Richtung von 40°.
-
Im Schritt 238 speichert der Bildverarbeitungsabschnitt 182 die nachfolgenden Daten im Speicher 164. das heißt, dass für jedes der Paare der Bildverarbeitungsabschnitt 182 im Speicher 164 die asymmetrischen Indikatorwerte, ein Flag, welches angibt, ob der asymmetrische Indikatorwert der Schwellenwert oder größer ist (asymmetrisch oder nicht), oder nicht, und den Winkel der Blutgefäß-Verlaufsrichtungen an den Analysepunkten der entsprechenden Paare speichert.
-
Als Nächstes folgt eine Beschreibung hinsichtlich eines Anzeigebildschirms in einem choroidalen Gefäßanalysemodus. Der Speicher 164 des Verwaltungsservers 140 hält Daten zum Erzeugen eines Anzeigebildschirms für den folgenden choroidalen Gefäßanalysemodus oder Inhaltsdaten zur Anzeige auf diesem Anzeigebildschirm.
-
Dies sind spezifisch die folgenden Daten. Bilddaten für die Augenhintergrundbilder (das erste Augenhintergrundbild (R-Augenhintergrundbild) und das zweite Augenhintergrundbild (G-Augenhintergrundbild)) wird aus der ophthalmologischen Vorrichtung 110 an den Verwaltungsserver 140 gesendet und der Verwaltungsserver 140 hält die Bilddaten für die Augenhintergrundbilder (das erste Augenhintergrundbild (R-Augenhintergrundbild) und das zweite Augenhintergrundbild (G-Augenhintergrundbild)). Der Verwaltungsserver 140 hält auch die Bilddaten des choroidalen Gefäßbilds (siehe 8A). Der Verwaltungsserver 140 hält die Position der Makula M, die Position des Sehnervkopfs ONH, den Rotationswinkel, über den das choroidale Gefäßbild zu rotieren ist, um so die gerade Linie LIN horizontal zu machen, die Positionen an jedem der (L) Analysepunkte, Paarungen von Analysepunkten, die Liniensymmetrie in Referenz auf die gerade Linie LIN aufweisen, und das Histogramm und Winkel, welche die Blutgefäß-Verlaufsrichtung angeben, die Merkmalswerte an jedem der Analysepunkte sind. Der Verwaltungsserver 140 hält auch den asymmetrischen Indikatorwert für jedes Analysepunktpaar und ein Flag davon, ob der asymmetrische Indikatorwert der Schwellenwert oder größer ist (asymmetrisch oder nicht) oder nicht.
-
Darüber hinaus wird auch persönliche Information zu einem Patienten an der ophthalmologischen Vorrichtung 110 eingegeben, wenn der Augenhintergrund des Patienten aufgenommen wird. Die persönliche Information beinhaltet eine ID, Namen, Alter, Sehschärfe und dergleichen des Patienten. Darüber hinaus wird Information, welche angibt, ob das Auge, dessen Augenhintergrund aufgenommen wird, entweder das rechte Auge oder das linke Auge ist, ebenfalls eingegeben, wenn der Augenhintergrund des Patienten aufgenommen wird. Weiterhin wird auch die Aufnahmedatum/Zeit eingegeben, wenn der Augenhintergrund des Patienten aufgenommen wird. Daten für die persönliche Information, Rechtsauge/Linksauge-Information und Bildaufnahmedatum/Zeit werden aus der ophthalmologischen Vorrichtung 110 an den Verwaltungsserver 140 gesendet. Der Verwaltungsserver 140 hält die Daten für die persönliche Information, Rechtsauge/Linksauge-Information und Bildaufnahmedatum/Zeit. Der Verwaltungsserver 140 hält auch Daten für die Augenachsenlänge.
-
Somit, wie oben beschrieben, hält der Verwaltungsserver 140 Daten zum Erzeugen des Anzeigebildschirms für den obigen choroidalen Gefäßanalysemodus.
-
Wenn ein Patient diagnostiziert wird, führt der Ophthalmologe die Diagnose durch, während er auf den Anzeigebildschirm des auf dem Bildbetrachter 150 angezeigt werdenden choroidalen Gefäßanalysemodus blickt. Wenn dies durchgeführt wird, verwendet der Ophthalmologe den Bildbetrachter 150 zum Senden einer Anfrage zum Anzeigen des choroidalen Gefäßanalysemodus-Bildschirms an den Verwaltungsserver 140 unter Verwendung eines nicht illustrierten Menübildschirms. Beim Empfang dieser Anfrage verwendet der Anzeigesteuerabschnitt 184 des Verwaltungsservers 140 die Inhaltsdaten für die spezifizierte Patienten-ID zum Erzeugen des choroidalen Gefäßanalysemodus-Anzeigebildschirms und sendet der Verarbeitungsabschnitt 186 die Bilddaten für den Anzeigebildschirm an den Bildbetrachter 150.
-
Es ist anzumerken, dass der Verarbeitungsabschnitt 186 ein Beispiel eines „Ausgabeabschnitts“ von hierin offenbarter Technologie ist.
-
Beim Empfang der Daten für den choroidalen Gefäßanalysemodus-Anzeigebildschirm zeigt der Bildbetrachter 150 den in 1 illustrierten choroidalen Gefäßanalysemodus-Anzeigebildschirm 300 auf der Anzeige 172 an, basierend auf den Daten für den choroidalen Gefäßanalysemodus-Anzeigebildschirm.
-
Es folgt eine Erläuterung hinsichtlich des in 11 illustrierten choroidalen Gefäßanalysemodus-Anzeigebildschirms 300. Wie in 11 illustriert, beinhaltet der choroidale Gefäßanalysemodus-Anzeigebildschirm 300 ein persönliches Informationsanzeigefeld 302 zum Anzeigen von persönlicher Information zu einem Patienten, ein Bildanzeigefeld 320 und ein Aderhaut-Analysewerkzeug-Anzeigefeld 330.
-
Das persönliche Informationsanzeigefeld 302 beinhaltet ein Patienten-ID-Anzeigefeld 304, ein Patientennamen-Anzeigefeld 306, ein Altersanzeigefeld 308, ein Augenachsenlängen-Anzeigefeld 310, ein Sehschärfe-Anzeigefeld 312 und ein Patientenauswahl-Icon 314. Verschiedene Informationen werden in dem Patienten-ID-Anzeigefeld 304, dem Patientennamen-Anzeigefeld 306, dem Altersanzeigefeld 308, dem Augenachsenlängen-Anzeigefeld 310 und dem Sehschärfe-Anzeigefeld 312 angezeigt. Es ist anzumerken, dass, wenn das Patientenauswahl-Icon 314 angeklickt wird, eine Liste von Patienten auf der Anzeige 172 des Bildbetrachters 150 angezeigt wird, um somit einem Anwender (Ophthalmologe oder dergleichen) den zu analysierenden Patienten auswählen zu lassen.
-
Das Bildanzeigefeld 320 beinhaltet Bildaufnahmedatum-Anzeigefelder von 322N1 bis 322N3, ein Rechtsauge-Informationsanzeigefeld 324R, ein Linksauge-Informationsanzeigefeld 324L, ein RG-Bildanzeigefeld 326, ein choroidales Gefäßbildanzeigefeld 328 und ein Informationsanzeigefeld 342. Es ist anzumerken, dass das RG-Bild ein Bild ist, das durch Kombinieren des ersten Augenhintergrundbilds (R-Augenhintergrundbild) mit dem zweiten Augenhintergrundbild (G-Augenhintergrundbild) ist, mit den Größen der entsprechenden Pixelwerte bei einem spezifischen Verhältnis (beispielsweise 1:1) kombiniert.
-
Das Aderhaut-Analysewerkzeug-Anzeigefeld 330 ist ein Feld, das verschiedene Icons zum Auswählen von mehreren Aderhautanalysewerkzeugen anzeigt. Diese beinhalten ein Vortex-Venen-Positions-Icon 332, ein Symmetrie-Icon 334, ein Blutgefäßdurchmesser-Icon 336, ein Vortex-Venen-zu-Makula/Sehnervkopf-Icon 338 und ein Aderhaut-Analyseberichts-Icon 340.
-
Das Vortex-Venen-Positions-Icon 332 weist die Anzeige von Vortex-Venenpositionen an. Das Symmetrie-Icon 334 weist die Anzeige von Analysepunkt-Symmetrie an. Das Blutgefäßdurchmesser-Icon 336 weist die Anzeige von Analyseergebnissen an, die sich auf die Durchmesser der choroidalen Blutgefäße beziehen. Das Vortex-Venen-zu-Makula/Sehnervkopf-Icon 338 weist die Anzeige von Analyseergebnissen von analysierten Positionen zwischen der Vortex-Vene und der Makula und dem Sehnervkopf an. Das Aderhaut-Analyseberichts-Icon 340 weist die Anzeige eines Aderhaut-Analyseberichts an.
-
Icons und Tasten zum Anweisen von Bilderzeugung, die später beschrieben wird, werden auf dem Anzeigebildschirm, der ebenfalls später beschrieben wird, des Bildbetrachters 150 angezeigt. Wenn der Anwender des Bildbetrachters 150 (ein Ophthalmologe oder dergleichen) eines der Icons etc. anklickt, wird ein dem angeklickten Icon etc. entsprechendes Anweisungssignal aus dem Bildbetrachter 150 an den Verwaltungsserver 140 gesendet. Beim Empfangen des Anweisungssignals aus dem Bildbetrachter 150 erzeugt der Verwaltungsserver 140 ein Bild entsprechend dem Anweisungssignal und sendet Bilddaten des erzeugten Bilds an den Bildbetrachter 150. Der Bildbetrachter 150, der die Daten aus dem Verwaltungsserver 140 empfangen hat, zeigt dann ein Bild, basierend auf den empfangenen Bilddaten, auf der Anzeige 172 an. Die Anzeigebildschirm-Erzeugungsverarbeitung wird in dem Verwaltungsserver 140 durchgeführt, durch Durchführen eines Anzeigebildschirm-Erzeugungsprogramms durch den Betrieb der CPU 162.
-
11 illustriert einen Bildschirm, der angezeigt wird, wenn das Bildaufnahmedatums-Anzeigefeld 322N1 angeklickt wird und ist ein Bildschirm, in welchem ein RG-Bild und ein choroidales Gefäßbild für den Augenhintergrund des rechten Auges (324R Icon ist beleuchtet) eines durch Patienten-ID 123456 identifizierten Patienten angezeigt werden, wie auf dem Bildaufnahmetag vom 1. Januar 2016 (2016/1/1) aufgenommen.
-
Wenn das Symmetrie-Icon 334 in dem Aderhaut-Analysewerkzeug-Anzeigefeld 330 von 11 angeklickt wird, wird der Anzeigebildschirm verändert zum Anzeigen der in 12 illustrierten Analysepunkte. Wie in 12 illustriert, zeigt der Bildbetrachter 150 die entsprechenden Paare von Analysepunkten als Punkte auf dem, im choroidalen Gefäßbildanzeigefeld 328 angezeigten, choroidalen Gefäßbild an. Es ist anzumerken, dass der Bildbetrachter 150 nicht auf die Anzeige entsprechender Analysepunktpaare als Punkte beschränkt ist, und als Visualisierung der Charakteristika der Analysepunkte Pfeile UA1, UA11, DA1, DA11 (siehe 10), welche die Blutgefäß-Verlaufsrichtung angeben, angezeigt werden können, oder elliptische Markierungen oder dergleichen statt der Pfeile genauso wie die Pfeile angezeigt werden können.
-
Das asymmetrische Histogrammanzeige-Icon 346 und das asymmetrische Farb-Anzeige-Icon 348 sind im Bildanzeigefeld 320 des Anzeigebildschirms von 12 vorgesehen.
-
Wenn das Asymmetrie-Histogrammanzeige-Icon 346 in dem Bildanzeigefeld 320 des Anzeigebildschirms von 12 angeklickt wird, zeigt sich eine Anzeige, welche die Asymmetrie angibt. Spezifisch, wie in 13 illustriert, verstärkt der Bildbetrachter 150 die Anzeige im choroidalen Gefäßbildanzeigefeld 328 des Paars von Analysepunkten Analysepunkten U1, D1, U1, D11, die entsprechende Analysepunkte von Paaren sind, die in dem choroidalen Gefäßbild angezeigt werden, für welches der asymmetrische Indikatorwert (∑Δh2) der spezifische Wert oder größer ist. Diese verstärkte Anzeige wird beispielsweise durch Anlegen von Boxen daran durchgeführt. Es ist anzumerken, dass solche Boxen mit derselben Farbe für dasselbe Paar angewendet werden, und mit einer anderen Farbe für ein anderes Paar. Beispielsweise werden entsprechende Boxen, welche den Analysepunkt U1 und den Analysepunkt D1 umgeben, in einer ersten Farbe (beispielsweise Rot) angewendet und werden entsprechende Boxen, die den Analysepunkt U11 und den Analysepunkt D11 umgeben, in einer zweiten Farbe (beispielsweise Orange) angewendet. Darüber hinaus zeigt der Bildbetrachter 150 auf dem choroidalen Gefäßbild Pfeile UA1, DA1, UA11, DA11 im Winkel von 60°, 160°, 50° und 150° an, die entlang den entsprechenden Blutgefäß-Verlaufsrichtungen der jeweiligen Paare von Analysepunkten U1, D1, U11, D11 liegen. Die Pfeile UA1, UA11 und die Pfeile UDA1 und DA11 sind Beispiele eines „ersten Indikators“ („erster Pfeil“) und eines „zweiten Indikators“ (zweiter Pfeil) der hierin offenbarten Technologie.
-
Darüber hinaus, statt des RG-Bildanzeigefelds 326, zeigt der Bildbetrachter 150 Histogramme jedes der Analysepunkte im Histogramm-Anzeigefeld 350 an und betont die Anzeige von Paaren von Histogrammen, für welche der asymmetrische Indikatorwert (∑Δh2) der spezifische Wert oder größer ist. Die Analysepunktnummern von asymmetrischen Paaren werden auch im Informationsanzeigefeld 342 angezeigt.
-
In 13 fallen der Analysepunkt U1 und der Analysepunkt D1, sowie der Analysepunkt U11 und der Analysepunkt D11 innerhalb der Definition des asymmetrischen Paars. Somit zeigt in dem choroidalen Gefäßbildanzeigefeld 328 der Bildbetrachter 150 Boxen derselben Farbe für dasselbe Paar und Boxen von unterschiedlichen Farben für andere Paare an, so dass entsprechende Boxen, welche den Analysepunkt U1 und den Analysepunkt D1 umgeben, beide in einer ersten Farbe (beispielsweise Rot) sind und entsprechende Boxen, die den Analysepunkt U11 und den Analysepunkt D11 umgeben, beide in einer zweiten Farbe (beispielsweise Orange) sind.
-
Im Histogramm-Anzeigefeld 350 zeigt der Bildbetrachter 150 Boxen derselben Farbe für dasselbe Paar an und Boxen unterschiedlicher Farben für andere Paare, so dass entsprechende Boxen, die das Histogramm U1H des Analysepunkts U1 und das Histogramm D1H des Analysepunkts D1 umgeben, beide in einer ersten Farbe (beispielsweise Rot) sind und entsprechende Boxen, die das Histogramm U11H des Analysepunkts U11 und das Histogramm D11H des Analysepunkts D11 umgeben, sind beide in einer zweiten Farbe (beispielsweise Orange). Die Farbe der Boxen, die die Analysepunkte in dem choroidalen Gefäßbildanzeigefeld 328 umgeben, und die Farbe der Boxen, welche das Histogramm im Histogramm-Anzeigefeld 350 umgeben, haben dieselbe Farbe für dieselben Analysepunktnummer, wodurch deren Sichtbarkeit erhöht wird.
-
Im Informationsanzeigefeld 342 zeigt der Bildbetrachter 150 die Tatsache an, dass der Analysepunkt U1 und der Analysepunkt D1 sowie der Analysepunkt U11 und der Analysepunkt D11 asymmetrische Paare sind, spezifisch durch Anzeigen von Text von „U1 und D1 sind asymmetrisch“ und „U11 und D11 sind asymmetrisch“.
-
Eine Konfiguration kann eingesetzt werden, in der, wenn das asymmetrische Farbanzeige-Icon 348 auf dem Bildanzeigefeld 320 des Anzeigebildschirms von 12 angeklickt wird, der in 14 illustrierte Anzeigebildschirm statt des Anzeigebildschirms von 13 angezeigt wird. Die entsprechenden Anzeigebildschirme von 13 und 14 sind unterschiedlich nur in dem Punkt, dass das Histogramm-Anzeigefeld 350 in 13 angezeigt wird, und ein Farbkarten-Anzeigefeld 360 in 14 statt des Histogramm-Anzeigefelds 350 angezeigt wird. Das Farbkarten-Anzeigefeld 360 ist anhand asymmetrischer Indikatorwerte (∑Δh2) unterschiedlich gefärbt. Erläuterung folgt hinsichtlich des Farbkarten-Anzeigefelds 360 allein.
-
Zuerst werden vorbestimmte Farben mit den Größen des asymmetrischen Indikatorwerts (∑Δh2) assoziiert und im Speicher 164 des Bildbetrachters 150 gespeichert. Beispielsweise werden dunklere Farben mit asymmetrischen Indikatorwerten (∑Δh2) größerer Größenordnung assoziiert. Darüber hinaus werden die rechteckigen Regionen im Farbkarten-Anzeigefeld 360 gemäß den jeweiligen Analysepunktnummern und Positionen bestimmt.
-
Basierend auf der Größe des asymmetrischen Indikatorwerts (∑Δh2) entsprechend jedem der Analysepunkte und der mit dieser Größe des asymmetrischen Indikatorwerts (∑Δh2) assoziierten Farbe zeigt der Bildbetrachter 150 rechteckige Regionen entsprechend den Analysepunkten an, die in der Farbe angezeigt werden, die mit der Größe des asymmetrischen Indikatorwerts (∑Δh2) assoziiert ist, entsprechend jedem der Analysepunkte.
-
Darüber hinaus zeigt in dem Histogramm-Anzeigefeld 360 der Bildbetrachter 150 Boxen derselben Farbe um die rechteckigen Regionen entsprechend demselben Paar von asymmetrischen Analysepunkten und Boxen unterschiedlicher Farbe für andere Paare an. Beispielsweise werden Boxen in einer ersten Farbe (beispielsweise Rot) um die rechteckigen Regionen RU1, RD1 entsprechend den Analysepunkten U1, D1 angezeigt und werden Boxen in einer zweiten Farbe (beispielsweise Orange) um die rechteckigen Regionen RU11, RD11 entsprechend den Analysepunkten U11, D11 angezeigt.
-
Wie oben beschrieben, wird in der vorliegenden beispielhaften Ausführungsform das choroidale Gefäßbild analysiert, wird die Asymmetrie von Paaren von Analysepunkten mit Liniensymmetrie unter Referenz auf die gerade Linie LIN, die die Makula M und den Sehnervkopf miteinander verbindet, analysiert und werden Paare von asymmetrischen Analysepunkten unter Hervorhebung angezeigt. Dies ermöglicht, dass die Asymmetrie in der Verlaufsrichtung der choroidalen Blutgefäße sichergestellt wird. Weiterhin kann eine Augenhintergrund-Diagnose durch einen Ophthalmologen durch die Visualisierung der Asymmetrie bei der choroidalen Blutgefäß-Verlaufsrichtung unterstützt werden.
-
Darüber hinaus können UWF-SLO-Bilder mit Ultraweitwinkel eines Bereichs von 200° oder größer für diesen Winkel um das Augapfelzentrum erhalten werden, indem eine SLO-Einheit verwendet wird, die ein Weitwinkel-Optiksystem einsetzt. Dies ermöglicht, eine Analyse von Asymmetrie für einen breiten Bereich einschließlich einer Peripherie-Fläche des Augenhintergrundes durch Einsetzen von solchen UWF-SLO-Bildern durchzuführen.
-
Als Nächstes erfolgt eine Beschreibung hinsichtlich verschiedener modifizierter Beispiele der hierin offenbarten Technologie.
-
Erstes modifiziertes Beispiel
-
In der oben beschriebenen beispielhaften Ausführungsform wird das choroidale Gefäßbild in die erste Region und die zweite Region durch die gerade Linie LIN unterteilt, welche die Makula und den Sehnervkopf miteinander verbinden und die Analysepunkte werden an Positionen in der ersten Region und der zweiten Region angeordnet, die die Liniensymmetrie unter Referenz auf die gerade Linie LIN aufweisen. Jedoch ist die hierin offenbarte Technologie nicht darauf beschränkt. Beispielsweise kann das choroidale Gefäßbild in eine temporale Region und eine nasale Region durch eine linear (orthogonale Linie) unterteilt werden, welche orthogonal zur Linie LIN ist, und die einen Ursprung am Mittelpunkt zwischen der Makula und dem Sehnervkopf hat. Die Analysepunkte können dann an Positionen angeordnet werden, die eine Symmetrie bei Referenz zur orthogonalen Linie aufweisen. Weiterhin kann das choroidale Gefäßbild durch eine Linie (Schnittlinie) unterteilt werden, die einen Ursprung am Mittelpunkt zwischen der Makula und dem Sehnervkopf aufweist, und die gerade Linie LIN unter einem spezifischen Winkel schneiden, beispielsweise 35° oder 135°, und den Analysepunkten, die an Positionen angeordnet sind, die eine Liniensymmetrie bei Referenz auf die Schnittlinie aufweisen.
-
Zweites modifiziertes Beispiel
-
In der obigen beispielhaften Ausführungsform wird die Blutgefäß-Verlaufsrichtung der choroidalen Blutgefäße an jedem der Analysepunkte erzeugt. Jedoch ist die hierin offenbarte Technologie nicht darauf beschränkt. Beispielsweise kann eine dreidimensionale Position dieses Pixels des choroidalen Gefäßbilds identifiziert und die Blutgefäß-Verlaufsrichtung der choroidalen Blutgefäße als eine Richtung im dreidimensionalen Raum berechnet werden. Optische Kohärenz-Tomographie (OCT)-Volumen (3D)-Daten, die erhalten werden unter Verwendung einer nicht illustrierten OCT-Einheit, die in dem ophthalmologischen Instrument 110 vorgesehen ist, können eingesetzt werden, um die dreidimensionalen Positionen und die Richtungen im dreidimensionalen Raum zu berechnen.
-
Drittes modifiziertes Beispiel
-
Obwohl in der oben beschriebenen beispielhaften Ausführungsform der Verwaltungsserver 140 das in 5 illustrierte Bildverarbeitungsprogramm vorab ausführt, ist die hierin offenbarte Technologie nicht darauf beschränkt. Der Bildbetrachter 150 kann einen Bildverarbeitungsbefehl an den Verwaltungsserver 140 senden, wenn das in 11 illustrierte Symmetrie-Icon 334 angeklickt wird. Dann kann in Reaktion darauf der Verwaltungsserver 140 das Bildverarbeitungsprogramm von 5 ausführen.
-
Viertes modifiziertes Beispiel
-
In der oben beschriebenen beispielhaften Ausführungsform ist ein Beispiel beschrieben worden, in welchem Augenhintergrundbild durch die ophthalmologische Vorrichtung 110 mit einem internen Lichtbeleuchtungswinkel von 200 Grad erfasst wird. Jedoch ist die hierin offenbarte Technologie nicht darauf beschränkt und die hierin offenbarte Technologie kann selbst dann angewendet werden, wenn das Augenhintergrundbild durch eine ophthalmologische Vorrichtung mit einem internen Beleuchtungswinkel von 100 Grad oder weniger aufgenommen worden ist und kann auch auf ein Montagebild angewendet werden, welches durch Kombinieren mehrerer Augenhintergrundbilder erhalten wird.
-
Fünftes modifiziertes Beispiel
-
In der oben beschriebenen beispielhaften Ausführungsform wird das Augenhintergrundbild durch die mit einer SLO-Bildgebungseinheit ausgerüstete, ophthalmologische Vorrichtung 110 aufgenommen. Jedoch kann die hierin offenbarte Technologie weiter auf ein Augenhintergrundbild angewendet werden, das aufgenommen wird unter Verwendung einer Augenhintergrundkamera, die zum Aufnehmen der choroidalen Blutgefäße fähig ist, und auf Bilder, die durch OCT-Angiographie erhalten werden.
-
Sechstes modifiziertes Beispiel
-
Obwohl in der obigen beispielhaften Ausführungsform die Asymmetrie aus der choroidalen Blutgefäß-Verlaufsrichtung analysiert wird, kann die hierin offenbarte Technologie auch angewendet werden, Symmetrie aus der Retina-Blutgefäß-Verlaufsrichtung zu analysieren.
-
Siebtes modifiziertes Beispiel
-
In der oben beschriebenen beispielhaften Ausführungsform führt der Verwaltungsserver 140 das Bildverarbeitungsprogramm aus. Jedoch ist die hierin offenbarte Technologie nicht darauf beschränkt. Beispielsweise kann das Bildverarbeitungsprogramm durch die ophthalmologische Vorrichtung 110 oder den Bildbetrachter 150 ausgeführt werden.
-
Achtes modifiziertes Beispiel
-
Die oben beschriebene beispielhafte Ausführungsform beschreibt ein Beispiel des mit der ophthalmologischen Vorrichtung, dem Augenachsenlängen-Messinstrument 120, dem Verwaltungsserver 140 und dem Bildbetrachter 150 ausgerüsteten ophthalmologischen Systems 100; jedoch ist die hierin offenbarte Technologie nicht darauf beschränkt. Beispielsweise kann als ein erstes Beispiel das Augenachsenlängen-Messinstrument 120 weggelassen werden und kann die ophthalmologische Vorrichtung 110 konfiguriert sein, weiter die Funktionalität des Augenachsenlängen-Messinstruments 120 zu beinhalten. Darüber hinaus kann als ein zweites Beispiel die ophthalmologische Vorrichtung 110 so konfiguriert sein, dass sie weiter die Funktionalität eines oder beider vom Verwaltungsserver 140 und dem Bildbetrachter 150 beinhaltet. Beispielsweise kann der Verwaltungsserver 140 in Fällen weggelassen werden, in welchen die ophthalmologische Vorrichtung 110 die Funktionalität des Verwaltungsservers 140 beinhaltet. In solchen Fällen wird das Bildverarbeitungsprogramm durch die ophthalmologische Vorrichtung 110 oder den Bildbetrachter 150 ausgeführt. Darüber hinaus kann der Bildbetrachter 150 in Fällen weggelassen werden, in welchen die ophthalmologische Vorrichtung 110 die Funktionalität des Bildbetrachters 150 beinhaltet. Als ein drittes Beispiel kann der Verwaltungsserver 140 weggelassen werden und kann der Bildbetrachter 150 konfiguriert sein, die Funktionalität des Verwaltungsservers 140 auszuführen.
-
Andere modifizierte Beispiele
-
Die oben beschriebene Datenverarbeitung der oben beschriebenen beispielhaften Ausführungsform ist lediglich ein Beispiel derselben. Offensichtlich können unnötige Schritte weggelassen werden, können neue Schritte hinzugefügt werden und kann die Abfolge der Verarbeitung innerhalb eines Bereichs verändert werden, welcher nicht von dem Geist abweicht.
-
Darüber hinaus, obwohl in der oben beschriebenen beispielhaften Ausführungsform ein Beispiel gegeben worden ist eines Falls, in welchem eine Datenverarbeitung durch eine Software-Konfiguration, die einen Computer einsetzt, implementiert wird, ist die hierin offenbarte Technologie nicht darauf beschränkt. Beispielsweise kann statt einer einen Computer einsetzenden Software-Konfiguration die Datenverarbeitung lediglich durch eine Hardware-Konfiguration von feldprogrammierbaren Gate-Arrays (FPGAs) oder applikations-spezifischen integrierten Schaltungen (ASICs) ausgeführt werden. Alternativ kann ein Bereich der Verarbeitung in der Datenverarbeitung durch eine Software-Konfiguration ausgeführt werden und kann die verbleibende Verarbeitung durch eine Hardware-Konfiguration ausgeführt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2015202236 A [0002]
- JP 2014/084619 [0017]
- JP 2014084631 PCT [0017]
- JP 2014084619 PCT [0017]
- WO 2016/103484 A [0017]
- JP 2014/084630 [0017]
- WO 2016/103489 A [0017]
- JP 2018052246 A [0032]