-
Die vorliegende Erfindung befasst sich mit einem Konzept zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets oder des Operationsgebiets mit einem präoperativen Bild des Operationsgebiets, wie es beispielsweise zur Unterstützung einer intraoperativen Navigation in der Chirurgie eingesetzt werden können.
-
Aortokoronare Bypassoperationen (CABG = Coronary Artery Bypass Grafting) sind in Industrieländern gängige operative Eingriffe im Rahmen der Herzchirurgie, wobei stark verengte oder komplett verschlossene Herzkranzgefäße überbrückt werden, um eine ausreichende Blutversorgung des Herzmuskels wiederherzustellen. Wie bei den meisten Eingriffen, ist dabei eine präoperative Planung wichtig und wird routinemäßig durchgeführt. Es werden Verschiedene bildgebende Verfahren benutzt, um einen derartigen Eingriff vorzubereiten, und um einen Chirurgen bei der Lokalisierung des ihn interessierenden Operationsgebiets zu unterstützen.
-
Aus chirurgischer Sicht stellt eine ordnungsgemäß durchgeführte Angiographie (coronary angiography) ein geeignetes Diagnoseverfahren bei koronaren Bypassoperationen dar. Angiographie nennt man die Darstellung von Blutgefäßen mittels diagnostischer Bildgebungsverfahren, beispielsweise Röntgen oder Magnetresonanztomografie (MRT). Hierzu wird ein Kontrastmittel, d. h. ein Stoff, der einen Bildkontrast verstärkt bzw. in einer gewählten Untersuchungsmethode besonders gut sichtbar ist, in ein Blutgefäß injiziert. Auf dem Bild bzw. dem Angiogramm der aufgenommenen Körperregion zeichnet sich dann der mit dem Kontrastmittel gefüllte Gefäßinnenraum ab. Nicht-invasive Tests können derzeit noch nicht das Ausmaß oder die Verteilung einer anatomischen Herzkrankheit mit ausreichender Genauigkeit darstellen. Herzcomputertomographie (cardiac CT) ist ein aufkommendes und wachsendes Feld, jedoch noch nicht weit verbreitet. Bei Bypassoperationen werden typischerweise angiographische Bilder, d. h. Angiogramme, verwendet, um Stenosen, d. h. Verengung von Blutgefäßen oder anderen Hohlorganen, und potentielle Positionen von Anastomosen, d. h. Verbindungen zwischen zwei anatomischen Strukturen, wie beispielsweise Blutgefäßen, zu detektieren.
-
Neben der effektiven Planung des Eingriffs fehlt eine Verbindung von der guten Verfügbarkeit präoperativer Hilfsmittel, wie präoperativen Bilddaten, zu Planungsdaten am Eingriffspunkt (PoC = Point of Care) bzw. Operationsgebiet, wie z. B. Livebildern vom Operationsgebiet. Ein Livebild bezeichnet dabei ein direkt bzw. in Echtzeit aufgezeichnetes und übertragenes Bild. Ein mit einer Kamera oder einem Endoskop erfasstes Livebild wird also unmittelbar an ein Anzeigegerät (z. B. Monitor) weitergeleitet.
-
Präoperativ gewonnene angiographische Bilddaten werden zur Planung eines Eingriffs bzw. einer Intervention verwendet. Diese Bilddaten sind zwar am Operationstisch zugänglich, doch nur in Form von externen Bildschirmen oder Ausdrucken. Die Transferleistung, interessierende Regionen vom präoperativen Bild auf eine aktuelle Sicht auf das Operationsgebiet zu übertragen, wird jedoch vom Arzt gefordert. Die Tatsache, dass ein Cardiologe für einen Herzkatheter und eine Interpretation der Planungsdaten verantwortlicht ist, wohingegen ein Herzchirurg den eigentlichen Bypass legt, macht klar, dass es hier zu Komplikationen kommen kann. Obwohl diese Vorgehensweise in manchen Fällen ideal und die derzeitige Praxis ausreichend ist, existieren komplexere und schwierigere Szenarien, insbesondere in der minimal-invasiven Chirurgie (MIS = Minimally Invasive Surgery), in denen dies eine echte Herausforderung sein kann, insbesondere für junge und unerfahrene Chirurgen. Der Blick auf das Operationsgebiet ist eingeschränkt und die präoperativen Bilddaten werden meist mit anderen Lage- und Formparametern gewonnen als die Livebilder. Herzkranzgefäße (coronary vessels) sind in Angiogrammen zumeist sichtbar, wohingegen sie während einer Operation unter einer Fettschicht auf der Herzoberfläche versteckt sind. In dem wachsenden Gebiet der minimal-invasiven Chirurgie ist die Sichtbarkeit von anatomischen Strukturen deutlich eingeschränkt, weshalb eine Orientierung beispielsweise auf der Herzoberfläche eine Herausforderung darstellt.
-
Navigationssysteme zur intraoperativen Unterstützung des Arztes sind am Markt etabliert. Diese basieren im Wesentlichen auf leicht erkennbaren Markern oder elektromagnetischen Verfahren zur Positionsbestimmung. Hierbei werden am Patienten und/oder am Operationsbesteck Marker in Form von metallischen oder ähnlichen Objekten befestigt, welche im präoperativen, meist radiologisch gewonnenen Bild und durch optische Verfolgungs- bzw. Trackingsysteme auch während der Intervention identifizierbar und verfolgbar sind. Ein anderer Ansatz ist der Einsatz eines elektromagnetischen Feldes, um durch Induktion eine aktuelle Position des Operationsbestecks zu ermitteln. Eine überlagerte Ansicht der präoperativen Bilddaten wird hierbei durch Anpassung derselben anhand der so ermittelten Lagedaten des Operationsbestecks ermöglicht.
-
Gemeinsam ist allen bisherigen Ansätzen, dass sie auf den Einsatz von zusätzlichen (elektro-)mechanischen Hilfsmitteln basieren. Hierbei kommt es zu einer Interferenz mit dem Patienten, was in verschiedenen Situationen nicht möglich oder unerwünscht ist. Insbesondere kann das Anbringen von Markern am Patienten medizinische oder auch diagnostische Nebenwirkungen haben.
-
Aus der
US 2007/0147707 A1 ist ein Verfahren zum Überlagern von bekannten aufgenommenen Bildern mit Echtzeitbildern einer Region bekannt. Ein Benutzer kann Abschnitte einer Region, die ihm relevant erscheinen, durch Anklicken in dem Echtzeitbild auswählen.
-
Die
EP 1880673 A1 befasst sich mit einem Verfahren zum Quantifizieren des dynamischen Verhaltens eines Organs, wobei Merkmalspunkte in einer Mehrzahl von CT-Bildern erfasst werden, um basierend darauf die Bewegung einzelner Punkte in der Mehrzahl von CT-Bildern zu verfolgen.
-
Die
WO 2008/083225 A2 befasst sich mit einem System, bei dem Bilder, die zu unterschiedlichen Zeiten erfasst werden, ausgerichtet werden. Beispielsweise kann auf einer graphische Schnittstelle für einen Arzt eine Überlagerung eines vorab erfassten Bildes mit einem aktuellen Bild erfolgen. Punkte, anhand derer eine Registrierung durchgeführt wird, werden wohl automatisch erfasst.
-
Ein System zum Vereinen von präoperativen und interoperativen Bildern ist aus der
US 2008/0269588 A1 bekannt, basierend auf Bezugspunkten in beiden Bildern. Hier soll insbesondere basierend auf einer Registrierung von intraoperativen Bilddaten und präoperativen Bilddaten die Position eines des Patienten im physikalischen Raum bestimmt werden.
-
Die
US 2008/0039713 A1 offenbart eine dynamische Verfolgung sich bewegender Ziele im Zusammenhang mit medizinischen Anwendungen. Bewegungssensoren werden verwendet, um eine Bewegung eines Objekts verfolgen zu können. Dabei werden Bewegungssensoren, wie z. B. LEDs, an der Haut oder einer äußeren Oberfläche einer anatomischen Region angebracht, um basierend darauf Bewegungen erfassen zu können.
-
Die
US 2007/0021669 A1 befasst sich mit der Erzeugung eines Bildes, basierend auf einer Überlagerung eines präoperativ erhaltenen Bildes und eines intraoperativ erhaltenen Bildes.
-
Somit besteht die Aufgabe der vorliegenden Erfindung darin, eine verbesserte Vorrichtung, ein verbessertes Verfahren und ein verbessertes Computer-Programm zur Unterstützung der intraoperativen Navigation bereitzustellen.
-
Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 1, ein Verfahren gemäß Patentanspruch 12 und ein Computer-Programm gemäß Patentanspruch 13 gelöst.
-
Der Kerngedanke der vorliegenden Erfindung besteht darin, ein intraoperatives, d. h. während eines chirurgischen Eingriffs gewonnenes, Livebild eines Operationsgebiets mit einem präoperativ gewonnenen Bild des Operationsgebiets, wie z. B. dem Herzen, bestmöglich in Übereinstimmung miteinander zu bringen. Die beiden zu registrierenden Bilder, d. h., intraoperatives Livebild und präoperatives Bild, unterscheiden sich typischerweise voneinander, weil sie von unterschiedlichen Positionen (d. h. aus unterschiedlichen Perspektiven), zu unterschiedlichen Zeitpunkten und/oder mit unterschiedlichen Sensoren aufgenommen wurden. Gemäß einem Ausführungsbeispiel wird das intraoperative Livebild als Referenzbild festgelegt. Durch interaktives Setzen von charakteristischen Punkten bzw. Landmarken kann ein Operateur bestimmte Bildpunkte bzw. Bildbereiche des Operationsgebiets in dem Livebild markieren. Des Weiteren kann der Operateur in dem präoperativen Bild zu den charakteristischen Punkten des Livebildes korrespondierende Punkte definieren, um korrespondierende Punkte bzw. Bereiche des Operationsgebiets in dem präoperativen Bild festzulegen. Anhand der charakteristischen Punkte in dem Livebild und den dazu korrespondierenden Punkten in dem präoperativen Bild wird dann eine Transformation durchgeführt, die das präoperative Bild bestmöglich an das Livebild anpasst. Nach der Transformation liegen dann jeweils die interessierenden Regionen des Livebilds und die zugehörigen bzw. korrespondierenden Regionen des präoperativ gewonnenen Bilds übereinander. Durch eine überlagerte Visualisierung kann dem Operateur, quasi entsprechend einer virtuellen Realität, eine erweiterte Sicht in Form eines aus Live- und präoperativen Bild kombinierten Bildes des Operationsgebiets bereitgestellt werden.
-
Ausführungsbeispiele der vorliegenden Erfindung stellen zur Lösung der obigen Aufgabe eine Vorrichtung bereit zur Überlagerung eines intraoperativen ersten Livebildes eines Operationsgebiets mit einem präoperativen zweiten Bild des Operationsgebiets. Eine erfindungsgemäße Vorrichtung umfasst eine Einrichtung zum Aufnehmen und Bereitstellen des intraoperativen Livebildes des Operationsgebiets und eine Einrichtung zum Bereitstellen des präoperativen Bildes des Operationsgebiets. Ferner ist eine Einrichtung vorgesehen zum Definieren von charakteristischen Punkten in dem intraoperativen ersten Livebild bzw. einem daraus abgeleiteten ersten Bild und zum Definieren von zu den charakteristischen Punkten korrespondierenden Punkten in dem präoperativen Bild, so dass die charakteristischen und die korrespondierenden Punkte in dem ersten und zweiten Bild zueinander korrespondierende Bildpunkte markieren. Eine Einrichtung zum Transformieren transformiert das zweite Bild, so dass die charakteristischen Punkte des ersten Bildes und die korrespondierenden Punkte des zweiten Bildes nach der Transformation zumindest näherungsweise aufeinander zu liegen kommen. Die Vorrichtung umfasst außerdem eine Einrichtung zum Visualisieren des zweiten präoperativen Bildes überlagert mit dem ersten Bild oder dem Operationsgebiet.
-
Wie oben bereits beschrieben wurde, kann eine überlagerte Visualisierung der beiden Bilder einem Operateur eine „erweiterte” Sicht auf das Operationsgebiet liefern. Dies geschieht gemäß einem Ausführungsbeispiel entweder durch eine Überlagerung von Bilddaten des ersten und zweiten Bildes nach der Transformation auf einem Anzeigegerät, wie beispielsweise einem Monitor, oder, gemäß einem anderen Ausführungsbeispiel, unmittelbar durch eine Projektion des transformierten präoperativen Bildes auf das Operationsgebiet bzw. den Sims.
-
Da intraoperativ die Sicht auf den Sims oder der Sims selbst nicht konstant bleibt und oft physiologisch bewegt ist, können gemäß Ausführungsbeispielen die markierten charakteristischen Punkte (Landmarken) in zeitlich aufeinanderfolgenden Livebildern mit einem geeigneten Verfahren verfolgt werden. Hierzu können Verfahren der Bewegungsverfolgung, insbesondere der Punktverfolgung, zum Einsatz kommen, so dass die Bewegungen und somit auch die charakteristischen Punkte bzw. Landmarken über die Zeit verfolgt werden können. Die Bildregistrierung bzw. Transformation und die daraus resultierende Überlagerung werden für jedes neue Livebild entsprechend der neuen Positionen der charakteristischen Punkte bzw. der neuen Landmarken angepasst.
-
Das erfindungsgemäße Konzept ermöglicht in komplexen Situationen eine Erweiterung der Sicht auf ein Operationsgebiet durch Überlagerung und Projektion von adaptiv angepassten präoperativ gewonnenen Aufnahmen an ein intraoperatives Livebild, ohne zusätzlich am Patienten oder am Operationsbesteck angebrachte Hilfsmittel zu verwenden. D. h., es wird auf zusätzliche technische Hilfsmittel verzichtet, welche mit einem Patienten interferieren. Durch eine Verfolgung der Positionen der markierten charakteristischen Punkte bzw. der Landmarken kann eine sinnvolle Visualisierung auch an bewegten Organen gewährleistet werden.
-
Gemäß einem Ausführungsbeispiel kann eine erfindungsgemäße Vorrichtung also zur erweiterten Visualisierung bei der intraoperativen Navigation durch interaktive Registrierung präoperativer Bilddaten und intraoperativer Livebilder verwendet werden.
-
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Fig.en näher erläutert. Es zeigen:
-
1 eine schematische Darstellung einer Vorrichtung zur Überlagerung eines ersten Bildes mit einem zweiten Bild gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
2 einen herzchirurgischen Operationsschauplatz;
-
3 interaktiv markierte charakteristische Punkte in einem intraoperativen Livebild und dazu korrespondierende Punkte in einem präoperativen Bild;
-
4 ein aus einem erstem und transformiertem zweitem Bild überlagertes Kombinationsbild;
-
5 eine Darstellung einer Nachverfolgung von charakteristischen Punkten in aufeinanderfolgenden Frames eines intraoperativen Livebilds bis zu einer Einschränkung der Sicht auf das Operationsgebiet durch den Eingriff;
-
6 eine schematische Darstellung eines Lösungswegs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
-
7 ein Flussdiagram eines Verfahrens zur Überlagerung eines intraoperativen Livebildes mit einem präoperativen Bild des Operationsgebiets gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
1 zeigt schematisch eine Vorrichtung 100 zur Überlagerung eines intraoperativen ersten Livebildes 112 eines Operationsgebiets 105 mit einem präoperativen zweiten Bild 114 des Operationsgebiets.
-
Die Vorrichtung 100 umfasst eine Einrichtung 110 zum Aufnehmen und Bereitstellen des ersten Bildes 112, d. h. des intraoperativen Livebildes, sowie eine Einrichtung 120 zum Bereitstellen des zweiten Bildes 114, d. h. des präoperativ gewonnenen Bildes. Eine Einrichtung 130 zum Definieren von charakteristischen Punkten 131-1, 132-1, 133-1, 134-1 und 135-1 in dem ersten Bild 112 und zum Definieren von zu den charakteristischen Punkten 131-1 bis 135-1 korrespondierenden Punkten 131-2, 132-2, 133-2, 134-2 und 135-2 ist ebenso vorgesehen. Das erste Bild 112 und das zweite Bild 114 zeigen das Operationsgebiet 105 typischerweise jeweils aus unterschiedlichen Perspektiven. Die charakteristischen Punkte 131-1 bis 135-1 und die dazu korrespondierenden Punkte 131-2 bis 135-2 markieren zueinander korrespondierende Bildpunkte bzw. Positionen in dem intraoperativen Livebild 112 und dem präoperativen Bild 114 des Operationsgebiets. Die Vorrichtung 100 umfasst eine Einrichtung 140 zum Transformieren des zweiten Bildes 112, 114, so dass die charakteristischen Punkte 131-1 bis 135-1 des ersten Bildes 112 und die dazu korrespondierenden Punkte 131-2 bis 135-2 des zweiten Bildes 114 nach der Transformation zumindest näherungsweise aufeinander zu liegen kommen. Eine Einrichtung 150 visualisiert, nach der Transformation, das zweite Bild 114 überlagert mit dem ersten Bild 112 oder dem Operationsgebiet 105, so dass durch die überlagerte Visualisierung eine erweiterte bzw. kombinierte Sicht 145 auf das Operationsgebiet bereitgestellt wird.
-
Gemäß manchen Ausführungsbeispielen der vorliegenden Erfindung umfasst die Einrichtung 110 zum Aufnehmen und Bereitstellen des ersten Bildes 112 eine Kamera oder ein Endoskop und ein Anzeigegerät, um das Operationsgebiet 105 mittels der Kamera oder des Endoskops zeitlich aktuell aus einer ersten Perspektive zu erfassen und das daraus resultierende Livebild 112 auf dem Anzeigegerät darzustellen. Diese Situation ist in 2 gezeigt. Gemäß Ausführungsbeispielen ist also ein Monitor 210 verfügbar, der ein Livebild des Eingriffs bzw. des Operationsgebiets darstellt. Bei offenen Eingriffen kann dazu eine Kamera 215 oberhalb eines Operationstisches verwendet werden, wobei der Monitor 210 vorzugsweise nahe einem Wirkungsort eines Chirurgen 220 angebracht ist. Bei minimal-invasiven Eingriffen ist eine Monitoransicht des Operationsgebiets 105 typischerweise sowieso vorhanden.
-
Gemäß der vorliegenden Erfindung kann das angezeigte Livebild 112 des Operationsgebiets 105 mittels einer fortschrittlichen Visualisierung korrespondierender präoperativ gesammelter Bilddaten 114 verbessert werden. Heutzutage sind präoperative Bilder, wie z. B. Angiogramme und Kardio-Computertomogramme (cardic CT), in digitaler Form verfügbar und können auf einem Anzeigegerät, wie beispielsweise dem Monitor 210 durch Abrufen der präoperativen Bilddaten 114 aus einem digitalen Speichermedium dargestellt werden. Die Einrichtung 120 zum Bereitstellen des zweiten, präoperativen Bildes des Operationsgebiets umfasst also gemäß Ausführungsbeispielen der vorliegenden Erfindung einen digitalen Speicher, um das präoperative zweite Bild 114 zu speichern und aus dem digitalen Speicher abzurufen. Dabei ist das zweite, präoperative Bild 114 des Operationsgebiets 105 beispielsweise eine vor der Operation, d. h. zeitlich vor dem Livebild 112, gewonnene Angiographie- oder Kardio-Computertomographieaufnahme des Operationsgebiets 105, wobei das erste und zweite Bild 112, 114 aus jeweils unterschiedlichen Perspektiven aufgezeichnet sein können.
-
Als Voraussetzung für eine Bildregistrierung bezüglich des ersten und zweiten Bildes 112, 114, identifiziert und markiert der Chirurg bzw. Operateur 220 oder ein Assistent 230 mehrere sichtbare und voneinander verschiedene charakteristische Punkte 131-1, 132-1, ... in dem intraoperativen Livebild 112 des Operationsgebiets 105, welches beispielsweise die Herzoberfläche sein kann. Ebenso werden dazu mehrere passende bzw. korrespondierende Punkte 131-2, 132-2, ... in dem präoperativen Bild 114 identifiziert und markiert. Die charakteristische Punkte 131-1, 132-1, ... und die dazu korrespondierende Punkte 131-2, 132-2, ... bedeuten in beiden Bildern zueinander korrespondierende Positionen oder Bereiche des Operationsgebiets 105. Dieser Zusammenhang ist in 3 gezeigt. 3 zeigt links ein intraoperatives Livebild 112 eines Herzens, dessen Herzwand mit einer Fettschicht überzogen ist, so dass Herzkranzgefäße nicht sichtbar sind. Die eingezeichneten dünnen, gestrichelten Linien bedeuten dabei lediglich Konturlinien der Herzwand. In 3, rechts, ist ein Angiogramm 114 des Herzens gezeigt, in welchem Herzkranzgefäße (dicke Linien) gut sichtbar sind.
-
Mittels der Einrichtung 130 werden in dem intraoperativen Livebild 112 charakteristische Punkte 131-1 bis 136-1 definiert, die bestimmte Positionen des Herzens, d. h. des Operationsgebiets 105, bedeuten. Dazu kann die Einrichtung 130 ein elektronisches Eingabegerät, wie beispielsweise eine Tastatur, einen Trackball, eine Computermaus, einen Lightpen oder ein berührungssensitives Display umfassen. Dazu korrespondierend werden in dem Angiogramm 114 zu den in dem ersten Bild 112 definierten charakteristischen Punkten bzw. Landmarken 131-1 bis 136-1 korrespondierende Punkte bzw. Landmarken 131-2 bis 136-2 definiert, die denselben Positionen des Herzens entsprechen wie die Punkte 131-1 bis 136-1. Diese Definition von charakteristischen Punkten 131-1 bis 136-1 im Livebild 112 und dazu korrespondierenden Punkten 131-2 bis 136-2 im präoperativem Bild 114 sollte vorzugsweise interaktiv von einem erfahrenen Operateur oder Assistenten durchgeführt werden, indem er jeweils entsprechende Bildpositionen der charakteristischen Punkte und der korrespondierenden Punkte markiert und diese logisch miteinander verknüpft. Alternativ kann gemäß manchen Ausführungsbeispielen die Definition der charakteristischen Punkte 131-1 bis 136-1 im Livebild 112 und der dazu korrespondierenden Punkte 131-2 bis 136-2 im präoperativem Bild 114 auch voll automatisiert durchgeführt werden, indem beispielsweise durch leistungsstarke und auf die Bilddaten angepasste Muster- bzw. Positionserkennungsverfahren die entsprechenden Bildpositionen der charakteristischen Punkte und der korrespondierenden Punkte automatisch, d. h. ohne menschlichen Einfluss, identifiziert, markiert und logisch miteinander verknüpft werden. Die definierten charakteristischen Punkte 131-1 bis 136-1 und dazu korrespondierenden Punkte 131-2 bis 136-2 bedeuten korrespondierende Orte bzw. Positionen in dem Operationsgebiet 105 und bilden somit eine Basis für eine Transformation zwischen beiden Ansichten bzw. Bildern 112, 114. Da die zu registrierenden Bilder 112, 114 typischerweise von unterschiedlichen Positionen, zu unterschiedlichen Zeitpunkten und/oder mit unterschiedlichen Sensoren aufgenommen wurden, muss die Abbildung aufeinander entsprechend angepasst werden.
-
Unter Bildregistrierung versteht man einen Prozess, um zwei oder mehrere Bilder derselben Szene oder zumindest ähnlicher Szenen, bestmöglich in Übereinstimmung miteinander zu bringen. Gemäß der vorliegenden Erfindung wird eine Bildregistrierung dazu verwendet, um ein Bild einer Modalität (z. B. Angiographie) auf ein Bild einer zweiten Modalität (Livebild bzw. Video) abzubilden und demgemäß zumindest eines der beiden Bilder 112, 114 zu transformieren, um die beiden in Übereinstimmung miteinander zu bringen. Dabei bezeichnet „Modalität” als Oberbegriff verschiedene Gerätegruppen, die in der Medizin zur Bildgebung genutzt werden. Diese Modalitäten werden in DICOM-Systemen (Digital Imaging and Communications in Medicine) eindeutig zugeordnet und sind z. B. Magnetresonanztomographie (MR), Computertomographie (CT), Ultraschall (US), „klassisches” Röntgen (CR) und Nuklearmedizin (NM). Für eine Registrierung von von unterschiedlichen Modalitäten stammenden Bildern, bei der Bildintensitätsinformationen nur schwer oder unmöglich zu verwenden sind, kann beispielsweise eine Landmarken-basierte Bildregistrierung eingesetzt werden. Dementsprechend wird gemäß Ausführungsbeispielen ein interaktiv markierter Satz von zueinander korrespondierenden Landmarken 131-1 bis 136-1 und 131-2 bis 136-2 verwendet, um eine Transformation zu definieren, die beispielsweise das präoperative zweite Bild 114 auf das intraoperative Livevideobild 112 abbildet, oder umgekehrt. Abhängig von der gewünschten Genauigkeit können affine Abbildungen bzw. Transformationen oder alternativ rigide Transformationen, die auf Rotation und Translation beschränkt sind, verwendet werden. Eine affine Transformation ist eine Abbildung, die zwischen zwei Vektorräumen Kollinearitäten und Abstandsverhältnisse paralleler Strecken bewahrt, wobei Bewahrung von Kollinearität bedeutet, dass Bilder von Punkten, die auf einer Geraden liegen, d. h. kollinear sind, wieder auf einer Geraden liegen. Ebenso sind Bilder paralleler Geraden wieder parallel. Affine Transformationen sind bekannt dafür, gegenüber rigiden Transformationen zu besseren Übereinstimmungen zwischen zwei Bildern zu führen. Allerdings können rigide Transformationen schneller und mit weniger charakteristischen und korrespondierenden Punkten 131-1, ... und 131-2, ... durchgeführt werden. Demnach ist die Einrichtung 140 zum Transformieren gemäß manchen Ausführungsbeispielen angepasst, um das zweite Bild 114 des Operationsgebiets 105 aus einer zweiten Perspektive mittels einer affinen Bildtransformation auf das erste Bild 112 des Operationsgebiets in dessen erste Perspektive abzubilden, oder umgekehrt. Gemäß anderen Ausführungsbeispielen ist die Einrichtung 140 zum Transformieren ausgebildet, um das zweite Bild 114 basierend auf den charakteristischen 131-1, 132-1, ... und dazu korrespondierenden Punkten 131-2, 132-2, ... mittels einer rigiden Bildtransformation auf das erste Bild 112 abzubilden, oder umgekehrt.
-
Nach der Transformation und der Abbildung der Bilder 112, 114 aufeinander kann gemäß einem Ausführungsbeispiel das transformierte bzw. angepasste präoperative Bild 114 auf das intraoperative Livebild 112 bzw. direkt auf das offene Operationsgebiet 105 projiziert werden, um die kombinierte Ansicht 145 zu erhalten. Für eine direkte Projektion auf den Situs kann beispielsweise ein entsprechender Projektor oberhalb des Operationsgebiets 105 vorgesehen sein. Auch ist eine spezielle „Virtual-Reality”-Brille für den Operateur 220 denkbar, in der die beiden Bilder überlagert angezeigt werden. Eine überlagert Anzeige der beiden Bilder auf dem Monitor 210 ist natürlich ebenso möglich. Um Erkennbarkeit eines derart überlagerten Bildes 145 zu gewährleisten, kann gemäß Ausführungsbeispielen das Konzept eines Alphakanals eingesetzt werden. Der Alphakanal oder α-Kanal ist ein zusätzlicher Kanal, der in Rastergrafiken zusätzlich zu den Farbinformationen eine Transparenz (Durchsichtigkeit) der einzelnen Pixel (Bildpunkte) speichert. Die Darstellung eines Bildes mit Alphakanal auf einem Hintergrund wird als Alpha Blending bezeichnet, welches eine teilweise Transparenz und eine Art veränderte Realitätsansicht ermöglicht, wie es in 4 dargestellt ist.
-
4 zeigt eine überlagerte bzw. kombinierte Ansicht bzw. ein überlagertes bzw. kombiniertes Bild 145 des in 3 dargestellten Livebildes 112 und des perspektivisch transformierten präoperativen Bildes 114. D. h., das transformierte zweite Bild 114 ist gemäß 4 dem ersten Bild 112 perspektivisch richtig überlagert, so dass ein Arzt bzw. Operateur 220 beispielsweise unter einem Fettgewebe 410 verlaufende Herzkranzgefäße 420 erkennen kann, wodurch erfolgreichere Operationen möglich werden.
-
Typischerweise wird eine in dem Livevideobild 112 dargestellte Szenerie nie ganz konstant sein. Beispielsweise verändern Herzschlag, Kamerabewegung und chirurgischer Eingriff selbst permanent eine Sicht bzw. das Bild auf das Operationsgebiet 105. Deshalb können die interaktiv vom Operateur ausgewählten charakteristischen und dazu korrespondieren Punkte 131-1 bis 136-1 bzw. 131-2 bis 136-2 nach einer kurzen Zeitdauer (z. B. innerhalb von Sekunden) ungültig sein. Ständiges Wiederauswählen von charakteristischen Punkten und dazu korrespondierenden Punkten wäre keine effiziente Vorgehensweise. Vielmehr sollte die Abbildung der beiden Bilder 112, 114 aufeinander auf die jeweilige Bildszene angepasst werden und gegenüber Bewegungen für eine ausreichende Zeitdauer stabilisiert werden.
-
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung werden die in dem ersten Bild 112 definierten charakteristischen Punkte 131-1, 132-1, ... über die Zeit von Einzelbild zu Einzelbild eines Live-Videos des Operationsgebiets 105 verfolgt, was bedeutet, dass sie in aufeinanderfolgenden Einzelbildern bzw. Frames automatisch identifiziert werden. D. h., erfindungsgemäß ist die Einrichtung 110 zum Bereitstellen des ersten Bildes 112 ausgebildet, um von dem Operationsgebiet 105 zeitlich aufeinanderfolgend mehrere Bilder bereitzustellen, wobei eine Verfolgungseinrichtung vorgesehen ist, um die Position der definierten charakteristischen Punkte in dem zeitlich aufeinanderfolgenden Einzelbildern zu verfolgen, wobei die Einrichtung zum Transformieren ausgelegt ist, um basierend darauf eine Transformation für jedes der mehreren Einzelbilder durchzuführen.
-
Ein robuster und schneller Ansatz zur Verfolgung der Bildpunkte in aufeinanderfolgenden Einzelbildern ist das sogenannte Template-Matching, wobei Ähnlichkeiten einer Bildregion um eine Landmarke bzw. einen definierten charakteristischen Punkt 131-1, 132-1, ... ausgenutzt werden. Unter Template Matching versteht man einen Vergleich eines in Fernster- bzw. Rasterform vorliegenden Prototypen eines Musters mit einem zu untersuchenden Rasterbild. Für jede Position im Rasterbild wird eine Korrelation zwischen dem Prototyp und dem korrespondierenden Bildbereich ermittelt. Die Zuweisung oder Zurückweisung des Musters hängt von der Korrelation ab, d. h. von der Qualität des Vergleichs. Prinzipiell wird dazu ein Fenster bzw. Template in einem ersten Frame der Livebildsequenz ausgewählt. Korrespondierende Positionen in darauffolgenden Frames werden basierend auf einer Ähnlichkeitsannahme gefunden. Dazu wird das Fenster bzw. Template teilweise über ein zu untersuchendes Einzelbild bzw. einen Frame geschoben, wobei ein Übereinstimmungsmaß berechnet wird. Um eine Rechenzeit zu verkürzen, kann ein zu untersuchender Bildausschnitt begrenzt werden. Unter der Annahme, dass ein Versatz eines charakteristischen Punkts 131-1, 132-1, ... zwischen zwei aufeinanderfolgenden Einzelbildern nicht zu groß ist, braucht lediglich eine begrenzte Region um die ursprüngliche Position des charakteristischen Bildpunktes 131-1, 132-1, ... berücksichtigt werden. Gemäß dem Ansatz, der in Frischholz, R., „Beiträge zur automatischen dreidimensionalen Bewegungsanalyse”, Shaker Verlag, Aachen, 1998, und Frischholz, R. W., Spinnler, K. P., „A Class Algorithm for Real-Time Subpixel Registration, In Proceedings of Euroopto Conference, Munich, 1993, pages 50–56, vorgeschlagen wurde, kann ein Fenster bzw. Template zu einer dargestellten Szenerie zeitlich angepasst werden, wodurch kleine, langsame Änderungen eines Erscheinungsbildes des Landmarkenfensters erlaubt werden.
-
Die Landmarken 131-1 bis 136-1 können während ihrer Bewegung verfolgt werden, solange eine Änderung zwischen aufeinanderfolgenden Einzelbildern nicht zu relevant ist oder die Sicht auf das Operationsgebiet 105 verdeckt wird (siehe 5). Das Teilbild in 5 links oben zeigt neu identifizierte charakteristische Punkte 131-1 bis 136-1 in einem ersten Frame eines Livebildes bzw. -videos eines Operationsgebiets 105. Die Positionen der charakteristischen Punkte 131-1 bis 136-1 werden in darauffolgenden Frames durch einen Tracking-Algorithmus nachverfolgt (siehe Teilbild rechts oben und Teilbild links unten), bis eine Sicht auf das Operationsgebiet 105 durch den chirurgischen Eingriff selbst eingeschränkt wird (siehe Teilbild rechts unten). Die nachverfolgten charakteristischen Punkte 131-1 bis 136-1 werden benutzt, um die Abbildung des präoperativen Bildes 114 auf die jeweils aktuelle Operationsszene gemäß eines aktuellen Einzelbildes anzupassen. Dies ermöglicht eine fortlaufende Überlagerung von präoperativen Bildern 114 auf ein Livebild 112 für ausreichend lange Zeitspannen. Für nicht-verfolgbare Änderungen zwischen aufeinanderfolgenden Frames bzw. Einzelbilder liegt ein Übereinstimmungsmaß unterhalb eines Schwellwerts, so dass die Nachverfolgung und die Anpassung des ersten und zweiten Bildes 112, 114 aufeinander aufhört. In diesem Fall werden in dem Livebild 112 charakteristische Bildpunkte 131-1, 132-1, ... sowie dazu korrespondierende Bildpunkte 131-2, 132-2, ... in dem präoperativen Bild 114 neu definiert, so dass eine Überlagerung der Bilder nach der Transformation wieder mittels eines Kombinationsbildes 145 dargestellt werden kann.
-
Zur Zusammenfassung zeigt 6 eine Übersicht des erfindungsgemäßen Konzepts.
-
Eine aktuelle Sicht auf das Operationsgebiet 105 wird beispielsweise mit Hilfe einer Kamera 215 aufgezeichnet, so dass ein intraoperatives Livebild 112 entsteht. Die Kamera 215 kann bei offenen Eingriffen beispielsweise über einem Operationstisch, z. B. in einer OP-Lampe, angebracht sein. Im Falle von minimal-invasiven Eingriffen ermöglicht ein optischer Kanal eines Endoskops Erzeugung des Livebilds 112. Das aktuelle Livebild 112 kann einem Operateur 220 auf einem ihm direkt zugänglichen Monitor 210 zur Verfügung gestellt werden. Zusätzlich kann er präoperativ gewonnene Bilddaten 114 laden und ebenfalls mittels des Monitors 210 anzeigen lassen. Durch interaktives Setzen charakteristischer Punkte 131-1 bis 136-1 kann der Operateur 220 interessierende Landmarken in der aktuellen Ansicht 112 des Operationsgebiets 105 markieren. Zu diesen Landmarken 131-1, 132-1, ... kann er korrespondierende Punkte 131-2, 132-2, ... in den präoperativen Bilddaten 114 definieren. Anhand dieser Korrespondenzen zwischen den Punkten 131-1, 132-1, ... und 131-2, 132-2, ... können die präoperativen Bilddaten 114 so geeignet transformiert werden (140), dass nach Transformation und Überlagerung die jeweils interessanten und zugehörigen Regionen der Bilder übereinanderliegen. Durch die überlagerte Visualisierung (145) kann dem Operateur 220 eine verbesserte bzw. erweiterte Sicht auf das Projektionsgebiet bzw. Operationsgebiet 105 bereitgestellt werden. Dies kann entweder durch eine Überlagerung der Bilddaten auf dem Monitor 210 oder unmittelbar durch eine Projektion der transformierten präoperativen Bilddaten auf den Situs geschehen. Hierbei wird das transformierte präoperative Bild mittels eines Projektors direkt auf den Situs projiziert.
-
Da intraoperativ die Sicht auf oder der Situs selbst nicht konstant bleibt und dieser oft physiologisch bewegt ist, werden die korrespondierenden Landmarken mit einem geeigneten Tracking-Verfahren verfolgt (610). Hierzu kommen Verfahren der Bewegungsverfolgung, insbesondere der Punktverfolgung zum Einsatz. Hiermit können die Bewegungen und somit auch die Landmarken über die Zeit verfolgt werden. Die Transformation und die daraus resultierende Überlagerung werden für jedes neue Einzellivebild 112 entsprechend der neuen Landmarkenpositionen angepasst.
-
Anhand von 7 wird nun noch ein Verfahren zur Überlagerung eines intraoperativen Livebildes 112 eines Operationsgebiets 105 mit einem präoperativen Bild 114 des Operationsgebiets beschrieben.
-
In einem ersten Schritt 710 wird das erste Bild 112, d. h. das intraoperative Livebild, bereitgestellt. Ferner wird in einem zweiten Schritt 720 das zweite Bild 114, d. h. das präoperative Bild des operativen Gebiets, bereitgestellt. In einem darauffolgenden Schritt 730 werden charakteristische Punkte 131-1, 132-1, ... in dem ersten Bild 112 und dazu korrespondierende Punkte 131-2, 132-2, ... in dem zweiten Bild 114 definiert, so dass die charakteristischen Punkte und die dazu korrespondierenden Punkte in dem ersten und zweiten Bild einander korrespondierende Positionen des Operationsgebiets 105 markieren. In einem nächsten Schritt 740 wird das erste und/oder das zweite Bild transformiert, so dass die charakteristischen Punkte 131-1, 132-1, ... des ersten Bildes 112 und die dazu korrespondierenden Punkte 131-2, 132-2, ... des zweiten Bildes 114 im Wesentlichen aufeinander zu liegen kommen. Nach dem Transformieren 740 folgt ein Schritt 750 des Überlagerns des zweiten Bildes mit dem ersten Bild oder dem Operationsgebiet, um die überlagerte Ansicht 145 des Operationsgebiets 105 zu erhalten. Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung kann dazu das zweite Bild 114 transformiert und danach das erste Bild 112 und das transformierte zweite Bild 114 überlagert werden, um ein kombiniertes bzw. überlagertes Bild 145 zu erhalten, welches in einem Schritt 760 beispielsweise über einen Monitor oder Projektor angezeigt wird. Alternativ könnte auch das Livebild 112 transformiert werden, was aber im Allgemeinen aufwendiger sein wird.
-
Obwohl vorliegend manche Aspekte im Zusammenhang mit einer Vorrichtung zur Überlagerung eines intraoperativen Livebilds mit einem präoperativen Bild beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens zum Überlagern eines intraoperativen Livebilds mit einem präoperativen Bild darstellen, so dass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschritts zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechendes Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.
-
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der vorliegenden Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk einer DVD, einer Blu-Ray-Disk, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines Flash-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren ausgeführt wird. Derzeit kann das digitale Speichermedium Computer-lesbar sein. Mansche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
-
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computer-Programmprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der erfindungsgemäßen Verfahren durchzuführen, wenn das Computer-Programmprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem Maschinen-lesbaren Träger gespeichert sein.