DE10335369B4

DE10335369B4 - A method of providing non-contact device function control and apparatus for performing the method

Info

Publication number: DE10335369B4
Application number: DE10335369A
Authority: DE
Inventors: Ulrich Nägele
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2003-07-30
Filing date: 2003-07-30
Publication date: 2007-05-10
Anticipated expiration: 2023-07-31
Also published as: DE10335369A1

Abstract

Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für ein medizinisches Gerät, welches medizinische Bildinformation in einem Mixed-Reality-Display (1) darstellt, mit den Schritten:
– Bereitstellen mindestens eines virtuellen Betätigungselementes (15a–15f) mit Gerätesteuerfunktion in einer virtuellen Position eines dreidimensionalen virtuellen Raumes;
– Darstellen des virtuellen Betätigungselementes (15a–15f) und eines Zeigerobjektes (17) zusammen mit der medizinischen Bildinformation im Mixed-Reality-Display (1);
– Lokalisieren eines Zeigerelementes (19) im dreidimensionalen realen Raum;
– Umsetzen der räumlichen Position des Zeigerelementes (19) im dreidimensionalen realen Raum in eine virtuelle Position des Zeigerobjektes (17) im dreidimensionalen virtuellen Raum; und
– Ausführen der Gerätesteuerfunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes (17) und der virtuellen Position des virtuellen Betätigungselementes (15a–15f) im dreidimensionalen virtuellen Raum gegeben ist.A method for providing a non-contact device function controller for a medical device, which displays medical image information in a mixed reality display (1), comprising the steps of:
- Providing at least one virtual actuator (15a-15f) with device control function in a virtual position of a three-dimensional virtual space;
- Representing the virtual actuator (15a-15f) and a pointer object (17) together with the medical image information in the mixed-reality display (1);
- Locating a pointer element (19) in three-dimensional real space;
- converting the spatial position of the pointer element (19) in the three-dimensional real space into a virtual position of the pointer object (17) in the three-dimensional virtual space; and
- Performing the device control function when a given spatial relationship between the virtual position of the pointer object (17) and the virtual position of the virtual actuator (15a-15f) is given in the three-dimensional virtual space.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für medizinische Geräte, sowie eine Gerätefunktionssteuervorrichtung zum Durchführen des Verfahrens.The The present invention relates to a method for providing a contactless Device function control for medical Equipment, and a device function control device to perform of the procedure.

Heutzutage finden bei einer Operation eine Vielzahl medizinischer Geräte Anwendung, die während der Operation mittels Steuerfunktionen eingestellt werden müssen. Einige dieser medizinischen Geräte, bspw. Operationsmikroskope, werden dabei vom Operateur bei seiner Tätigkeit im sterilen OP-Umfeld benutzt. Damit der Operateur Einstellungen eines medizinischen Gerätes selbst vornehmen kann, muss das Bedienfeld des Gerätes steril sein. Das Sterilisieren des Bedienfeldes kann jedoch Schwierigkeiten bereiten. Beispielsweise weist eine Tastatur schwierig zu sterilisierende Kanten und Spalten auf.nowadays find a variety of medical devices in surgery, the while the operation must be adjusted by means of control functions. Some of these medical devices, For example, surgical microscopes are doing by the surgeon at his activity in the sterile surgical environment used. So that the surgeon settings a medical device itself the control panel of the device must be sterile. Sterilization However, the control panel can be difficult. For example a keyboard has difficult to sterilize edges and columns on.

Um ein steriles Bedienen zu ermöglichen, kann eine Tastatur einen sterilisierbaren Überzug besitzen, was jedoch die Bedienbarkeit der Tasten beeinträchtigen kann. Alternativ kann das Bedienfeld auch außerhalb des sterilen OP-Umfeldes angeordnet sein. In diesem Fall kann der Operateur die Einstellung jedoch nicht mehr selbst vornehmen, sondern muss einem Assistenten außerhalb des sterilen OP-Umfeldes Anweisungen zum Vornehmen der gewünschten Einstellung geben, was ggf. einen umständlichen Abstimmungsprozess zwischen dem Operateur und einem Assistenten erforderlich macht.Around a sterile operation can enable a keyboard have a sterilizable coating, but what may affect the operability of the keys. Alternatively, you can the control panel also outside be arranged in the sterile surgical environment. In this case, the Surgeon but no longer make the setting itself, but needs an assistant outside of the sterile surgical environment Instructions for making the desired Give attitude, which may be a cumbersome voting process between the surgeon and an assistant required.

In der US 6,394,602 B1 ist ein Mikroskop beschrieben, bei dem die Darstellung eines Menüs im Display mittels eines Eye-Tracking-Systems zu steuern ist. Diese Art des Steuerns eignet sich grundsätzlich auch für die Anwendung im sterilen OP-Umfeld.In the US 6,394,602 B1 a microscope is described in which the representation of a menu in the display is to be controlled by means of an eye-tracking system. This type of control is basically also suitable for use in a sterile surgical environment.

Ein Virtual-Retinal-Display mit Eye-Tracking-System ist in US 6,369,953 B2 offenbart. Das Virtual-Retinal-Display wird u.a. dazu verwendet, dem Benutzer ein Menü und einen Zeiger auf die Netzhaut zu projizieren. Die Steuerung des Zeigers erfolgt anhand einer Analyse der Blickrichtung des Nutzers mittels des Eye-Tracking-Systems. Eine „Klick-Funktion" wird durch die Detektion eines Blinzelns oder Doppelblinzelns realisiert.A virtual retinal display with eye-tracking system is in US 6,369,953 B2 disclosed. The Virtual Retinal Display is used, among other things, to project the user a menu and a pointer to the retina. The control of the pointer is based on an analysis of the viewing direction of the user by means of the eye-tracking system. A "click-function" is realized by the detection of blinking or double blinking.

Mit einem Eye-Tracking-System lassen sich jedoch bspw. Funktionen wie das Einstellen eines Schiebereglers nur unzureichend realisieren. Außerdem erfordert das Steuern eines medizinischen Gerätes mittels eines Eye-Tracking-Systems einen unter Umständen langen Gewöhnungsprozess, bevor ein schnelles und sicheres Bedienen des Geräts, wie es bspw. während einer Operation erforderlich ist, möglich ist.With However, an eye-tracking system can, for example, functions such as the setting of a slider only inadequate realize. Furthermore requires controlling a medical device by means of an eye-tracking system one under certain circumstances long habituation process, before a fast and safe operation of the device, like it eg during an operation is required is possible.

Die DE 198 45 028 A1 offenbart ein Magnetresonanz-System mit einer Projektionseinrichtung, die optisch wahrnehmbare Informationen auf eine Projektionsfläche projiziert. Diese Informationen können sowohl MR-Bilder als auch Bedienelemente umfassen. Zur Steuerung des MR-Systems mittels der auf der Projektionsfläche befindlichen Hand einer Bedienperson erfasst ein optischer Detektor die Bewegung der Hand relativ zur Projektionsfläche und gibt die Daten an eine Steuereinrichtung weiter. Die Bewegung eines Fingers wird wie die Bewegung einer Maus interpretiert und das Verweilen des Fingers als Mausklick. Dabei wird die Position der Hand relativ zu einer Ebene, nämlich zur Projektionsfläche, ermittelt.The DE 198 45 028 A1 discloses a magnetic resonance system with a projection device which projects optically perceptible information onto a projection surface. This information can include both MR images and controls. To control the MR system by means of the hand of an operator located on the projection surface, an optical detector detects the movement of the hand relative to the projection surface and forwards the data to a control device. The movement of a finger is interpreted as the movement of a mouse and the lingering of the finger as a mouse click. The position of the hand is determined relative to a plane, namely the projection surface.

Die WO 02/100285 A1 beschreibt ein Führungssystem für Operationen, in welchem reale dreidimensionale Bilder sowie Bedienelemente in einem semitransparenten „head-mounted stereo display" dargestellt werden. Jedoch werden die Bilder und die Bedienelemente in der WO 02/100285 A1 nicht gleichzeitig dargestellt. Stattdessen schaltet das System von der Darstellung der realen Bilder in die Darstellung der Bedienelemente um, wenn eine vorbestimmte Bedingung erfüllt ist The WO 02/100285 A1 describes a guidance system for operations, in which real three-dimensional images as well as controls in a semitransparent "head-mounted stereo display " become. However, the pictures and the controls in the WO 02/100285 A1 not shown simultaneously. Instead, switch the system from the representation of the real pictures into the presentation the operating elements, if a predetermined condition is met

Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für medizinische Geräte sowie eine verbesserte Gerätefunktionssteuervorrichtung und ein optisches Beobachtungsgerät zur Verfügung zu stellen.It is therefore an object of the present invention, an improved method to provide a non-contact Device function control for medical equipment and an improved device function control device and to provide an optical observation device.

Diese Aufgabe wird durch ein Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung nach Anspruch 1 und eine Gerätefunktionssteuervorrichtung nach Anspruch 8 sowie durch ein optisches Beobachtungsgerät nach Anspruch 13 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.These Task is achieved by a method for providing a non-contact Device function control according to claim 1 and a device function control device according to claim 8 and by an optical observation device according to claim 13 solved. The dependent ones claims contain advantageous embodiments of the invention.

Ein erfindungsgemäßes Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für ein medizinisches Gerät, welches medizinische Bildinformation in einem Mixed-Reality-Display darstellt, umfasst die Schritte:

– Bereitstellen mindestens eines virtuellen Betätigungselementes mit Gerätesteuerfunktion in einer virtuellen Position eines dreidimensionalen virtuellen Raumes. Unter einem virtuellen Raum ist dabei eine dreidimensionale computergenerierte Umgebung und unter einem virtuellen Betätigungselement ein computergeneriertes Betätigungselement in der virtuellen Umgebung zu verstehen.
– Darstellen des virtuellen Betätigungselementes und eines Zeigerobjektes zusammen mit der medizinischen Bildinformation im Mixed-Reality-Display, d.h. einem Display in dem einem Betrachter sowohl Bildinformationen aus dem (dreidimensionalen) realen Raum, wie bspw. die medizinische Bildinformation, als auch aus dem (dreidimensionalen) virtuellen Raum dargeboten werden. Medizinische Bildinformationen können dabei alle auf einer bildgebenden oder -erzeugenden Vorrichtung bzw. einem bildgebenden oder -erzeugenden Verfahren beruhenden medizinischen Bilder, Abbildungen, Darstellungen etc. sein, die auf Daten aus dem realen Raum beruhen. Dabei ist es unerheblich, ob die Bilder, Abbildungen, Darstellungen etc. selbst von einem Computer generiert sind, wie bspw. in der Computertomographie, oder ein direktes Abbild aus dem realen Raum darstellen. Vom Computer generierte Bilder, Abbildungen, Darstellungen etc., die auf insbesondere online erfassten Daten aus dem realen Raum beruhen, sollen im Rahmen der Erfindung nicht als virtuelle Objekte anzusehen sein.
– Lokalisieren eines Zeigerelementes im dreidimensionalen realen Raum.
– Umsetzen der dreidimensionalen räumlichen Position des Zeigerelementes im realen Raum in eine dreidimensionale virtuelle Position des Zeigerobjektes im virtuellen Raum.
– Ausführen der Gerätesteuerfunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes im dreidimensionalen virtuellen Raum gegeben ist.

A method according to the invention for providing a non-contact device function control for a medical device, which displays medical image information in a mixed-reality display, comprises the steps:

- Providing at least one virtual actuator with device control function in a virtual position of a three-dimensional virtual space. Under a virtual space is a three-dimensional computer-generated environment and ver under a virtual actuator ver a computer-generated actuator in the virtual environment stand.
Representing the virtual actuator and a pointer object together with the medical image information in the mixed-reality display, ie a display in which a viewer both image information from the (three-dimensional) real space, such as the medical image information, as well as from the (three-dimensional ) virtual space. Medical image information may be all medical images, images, representations, etc., based on data from real space, based on an imaging or generating device or an imaging or generating process. It is irrelevant whether the images, images, representations, etc., are themselves generated by a computer, such as in computed tomography, or represent a direct image from real space. Computer-generated images, images, representations, etc., which are based in particular on online recorded data from real space, should not be regarded as virtual objects within the scope of the invention.
- Locating a pointer element in three-dimensional real space.
- Implementing the three-dimensional spatial position of the pointer element in real space in a three-dimensional virtual position of the pointer object in the virtual space.
Performing the device control function when given a given spatial relationship between the virtual position of the pointer object and the virtual position of the virtual actuator in the three-dimensional virtual space.

Als Mixed-Reality-Display kann hierbei insbesondere eine vor den Augen zu tragende brillenartige Vorrichtung (Head Mounted Display, HMD, oder Head Up Display, HUD), etwa in Form einer Netzhautprojektionsvorrichtung (Virtual Retinal Display) oder einer Stereobeobachtungsbrille, oder eine an einem Ausleger (BOOM) befestigte Stereobetrachtungsvorrichtung anzusehen sein. Als Zeigerelement kommt außer einem Stift oder einem chirurgischen Instrument auch ein Körperteil, etwa ein Finger, ein Fuß, ein Arm etc., in Frage. Das Lokalisieren des Zeigerelementes im dreidimensionalen realen Raum kann insbesondere auf optischem Wege erfolgen. Zum Umsetzen der räumlichen Position des Zeigerelementes im realen Raum in die dreidimensionale virtuelle Position des Zeigerobjektes im virtuellen Raum kann eine Koordinatentransformation zum Einsatz kommen.When Mixed-reality display can be especially in front of the eyes spectacle-type device (head mounted display, HMD, or Head Up Display, HUD), such as in the form of a retinal projection device (Virtual Retinal Display) or stereo glasses, or a stereo viewer attached to a boom (BOOM) to be seen. As a pointer element comes except a pen or a surgical instrument also includes a body part, such as a finger, a foot, an arm, etc., in question. Locating the pointer element in the Three-dimensional real space can be done in particular by optical means respectively. To implement the spatial Position of the pointer element in the real space in the three-dimensional virtual position of pointer object in virtual space can be a Coordinate transformation are used.

Da sich im erfindungsgemäßen Verfahren das Positionieren eines realen Gegenstandes, bspw. des Zeigefingers des Operateurs, im realen Raum im Positionieren des Zeigerobjektes im virtuellen Raum widerspiegelt und die Gerätesteuerfunktion durch eine vorgegebene räumliche Beziehung zwischen dem Betätigungselement und dem Zeigerobjekt ausgelöst bzw. ausgeführt wird, lässt sich die natürliche Bewegung beim Betätigen eines realen Betätigungselementes auf das Betätigen eines virtuellen Betätigungselementes leicht übertragen. Das erfindungsgemäße Verfahren ermöglicht so das intuitive Betätigen eines virtuellen Betätigungselementes. Außerdem lassen sich Einstellfunktionen wie das Einstellen eines virtuellen Schiebe- oder Drehreglers mit dem erfindungsgemäßen Verfahren ebenso einfach realisieren wie das Betätigen von Tasten. Da das Betätigen des Betätigungselementes vollständig virtuell, also berührungslos, erfolgt, eignet sich das erfindungsgemäße Verfahren insbesondere zur Anwendung bei Geräten, die im sterilen oder im kontaminierten Umfeld betrieben werden sollen.There in the process according to the invention Positioning a real object, for example the index finger of the surgeon, in real space in positioning the pointer object reflected in the virtual space and the device control function by a given spatial Relationship between the actuator and the pointer object or executed will, lets the natural movement when pressed a real actuator on pressing a virtual actuator easily transmitted. The inventive method allows so the intuitive pressing a virtual actuator. Furthermore can be adjustment functions such as setting a virtual Sliding or rotary controls with the method according to the invention Just as easy to realize as pressing keys. Since pressing the actuating element Completely virtual, so non-contact, takes place, the inventive method is particularly suitable for Application for devices, which are to be operated in a sterile or contaminated environment.

Der dreidimensionalen virtuelle Raum und der dreidimensionalen reale Raum können im erfindungsgemäßen Verfahren eine beliebige Orientierung relativ zueinander aufweisen, d.h. die Darstellung, die ein Betrachter im Display wahrnimmt, braucht keinen Bezug zur Blickrichtung des Betrachters im dreidimensionalen realen Raum zu haben. insbesondere kann die Orientierung des dreidimensionalen virtuellen Raumes fest mit der Blickrichtung des Betrachters verbunden sein, so dass ein Drehen des Kopfes des Betrachters, und damit eine Änderung seiner Blickrichtung, die Orientierung des dreidimensionalen virtuellen Raumes relativ zum dreidimensionalen realen Raum ändert. Mit anderen Worten, der Betrachter sieht unabhängig von der Stellung seines Kopfes immer dieselbe Darstellung im Display (ggf. mit veränderlichen Inhalten). Das mindestens eine virtuelle Betätigungselement kann dabei neben, über oder unter der medizinischen Bildinformation eingeblendet werden, so dass es das Wahrnehmen der medizinischen Bildinformation nicht stört. Alternativ ist es auch möglich, das mindestens eine virtuelle Betätigungselement im dreidimensionalen virtuellen Raum der medizinischen Bildinformation zu überlagern, so dass das Bild immer, d.h. auch während des Bedienens des mindestens einen virtuellen Betätigungselementes, im Zentrum des Blickfeldes des Betrachters liegt.Of the three-dimensional virtual space and the three-dimensional real Space can in the process according to the invention have any orientation relative to each other, i. the Representation that a viewer perceives in the display, does not need Reference to the viewing direction of the viewer in the three-dimensional real To have room. In particular, the orientation of the three-dimensional virtual space firmly connected to the viewing direction of the viewer be, allowing a turning of the viewer's head, and thus a change his line of sight, the orientation of the three-dimensional virtual Space relative to the three-dimensional real space changes. With In other words, the viewer sees regardless of the position of his Head always the same representation in the display (possibly with variable Content). The at least one virtual actuator may be next to, above or be displayed under the medical image information, so that it does not disturb the perception of the medical image information. alternative it is also possible the at least one virtual actuator in three-dimensional superimpose virtual space of medical image information, so that the image always, i. even while operating the at least a virtual actuator, lies in the center of the observer's field of vision.

Alternativ kann die Orientierung des dreidimensionalen virtuellen Raumes fest mit dem dreidimensionalen realen Raum verbunden sein, so dass der im Display dargestellte Ausschnitt des dreidimensionalen virtuellen Raumes von der Blickrichtung des Betrachters abhängt. Der Betrachter sieht dann bspw. bei Verwendung einer Stereobeobachtungsbrille oder eines Virtual-Retinal-Displays einen anderen Ausschnitt des dreidimensionalen virtuellen Raumes, sobald er den Kopf dreht. Dabei ist es ist es möglich, die medizinische Bildinformation fest mit der Blickrichtung des Betrachters zu verknüpfen, so dass sie auch bei einem Drehen des Kopfes immer im Blickfeld des Betrachters bleibt, die virtuellen Betätigungselemente jedoch nur ins Blickfeld gelangen, wenn der Betrachter seinen Kopf dreht. So kann die medizinische Bildinformation, bspw. bei einer Operation die (dreidimensionale) Darstellung des Operationssitus, immer in Blickrichtung verbleiben, während die virtuellen Betätigungselemente nur durch ein Drehen des Kopfes ins Blickfeld gelangen. Auf diese Weise stören die virtuellen Betätigungselemente die Aufmerksamkeit des Betrachters nicht, wenn sie nicht gebraucht werden.Alternatively, the orientation of the three-dimensional virtual space can be firmly connected to the three-dimensional real space, so that the portion of the three-dimensional virtual space shown in the display depends on the viewing direction of the viewer. The viewer then sees, for example, when using a stereo observation goggles or a virtual retinal display another section of the three-dimensional virtual space, as soon as he turns his head. It is possible to link the medical image information firmly with the viewing direction of the observer, so that It always remains in the field of view of the viewer when turning the head, but the virtual actuators only come into view when the viewer turns his head. Thus, the medical image information, for example, in an operation, the (three-dimensional) representation of the surgical site, always remain in the line of sight, while the virtual actuators come into view only by turning the head. In this way, the virtual actuators do not disturb the viewer's attention when not in use.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist sowohl das virtuelle Betätigungselement als auch die räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes, welche die Gerätesteuer funktion auslöst, einem realen Betätigungselement, bspw. einer Taste, einem Schiebe- oder einem Drehschalter, bzw. der beim Betätigen eines entsprechenden realen Betätigungselementes auftretenden räumlichen Beziehung nachempfunden. Es können so eine Vielzahl gängiger Einstellhandlungen, wie etwa das Betätigen einer Taste, das Drehen eines Drehschalters etc., deren Bedienung normalerweise keiner Eingewöhnungsphase bedarf, im dreidimensionalen virtuellen Raum realisiert werden. Das Gerät kann daher ohne lange Eingewöhnungsphase rasch und sicher bedient werden.In a further embodiment of the method according to the invention is both the virtual actuator as well as the spatial Relationship between the virtual position of the pointer object and the virtual position of the virtual actuator, which the Device control function triggers a real actuator, For example, a key, a sliding or a rotary switch, or when pressing a corresponding real actuator occurring spatial relationship modeled. It can so a variety of common Setting actions, such as pressing a key, turning a rotary switch, etc., whose operation is usually no acclimatization phase need to be realized in three-dimensional virtual space. The device can therefore without a long acclimatization phase be served quickly and safely.

Eine zum Durchführen des erfindungsgemäßen Verfahrens geeignete erfindungsgemäße Gerätefunktionssteuervorrichtung für medizinische Geräte, in welchen medizinische Bildinformation in einem Mixed-Reality-Display dargestellt wird, umfasst:

– eine Funktionssteuereinheit, die mindestens eine Gerätesteuerfunktion sowie mindestens ein der Gerätesteuerfunktion zugeordnetes virtuelles Bedienelement in einer bestimmten Position in einem dreidimensionalen virtuellen Raum bereitstellt und die zum Darstellen des mindestens einen virtuellen Bedienelementes und eines Zeigerobjektes zusammen mit medizinischer Bildinformation in einem Mixed-Reality-Display mit einer Darstellungseinheit verbunden oder verbindbar ist;
– eine Lokalisationseinheit zum Ermitteln der Position eines Zeigerelementes im dreidimensionalen realen Raum;
– eine mit der Lokalisationseinheit verbundene und der Darstellungseinheit verbundene oder verbindbare Umsetzungseinheit zum Umsetzen der Position des Zeigerelementes im dreidimensionalen realen Raum in eine Position des Zeigerobjektes im dreidimensionalen virtuellen Raum; und
– eine mit der Funktionssteuereinheit und der Umsetzungseinheit verbundene Auslöseeinheit zum Auslösen der Gerätesteuerfunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes gegeben ist.

A device function control device according to the invention for medical devices suitable for carrying out the method according to the invention, in which medical image information is displayed in a mixed-reality display, comprises:

A function control unit which provides at least one device control function and at least one virtual control element associated with the device control function in a specific position in a three-dimensional virtual space and which displays the at least one virtual control element and a pointer object together with medical image information in a mixed-reality display a presentation unit is connected or connectable;
A localization unit for determining the position of a pointer element in three-dimensional real space;
A conversion unit connected to the localization unit and connected or connectable to the presentation unit for converting the position of the pointer element in three-dimensional real space into a position of the pointer object in three-dimensional virtual space; and
A trigger unit connected to the function control unit and the conversion unit for triggering the device control function when a given spatial relationship exists between the virtual position of the pointer object and the virtual position of the virtual operation element.

Die Verbindung der einzelnen Einheiten, die außer der Lokalisationseinheit und dem Mixed-Reality-Display als Hard- oder als Software realisiert sein können, kann sowohl über Kabel als auch drahtlos ausgeführt sein.The Connection of the individual units, except the localization unit and the Mixed Reality Display as hardware or software could be, can both over Cable as well as wireless be.

In einer Ausgestaltung der erfindungsgemäßen Gerätefunktionssteuervorrichtung umfasst die Lokalisationseinheit eine 3D-Beobachtungskamera und eine Auswerteeinheit zum Ermitteln der Position des Zeigerelementes aus den Bilddaten der 3D-Beobachtungskamera.In an embodiment of the device function control device according to the invention the localization unit comprises a 3D observation camera and an evaluation unit for determining the position of the pointer element from the image data of the 3D observation camera.

In einer alternativen Ausgestaltung umfasst die Lokalisationseinheit einen am Zeigerelement zu befestigenden oder das Zeigerelement bildenden Sender oder Reflektor zum Senden oder Reflektieren eines Lokalisationssignals. Außerdem umfasst sie mindestens drei Empfänger zum Empfang des gesendeten bzw. reflektierten Lokalisationssignals und eine Auswerteeinheit zum Ermitteln der Position des Zeigerelementes aus den empfangenen Signalen.In an alternative embodiment comprises the localization unit a transmitter to be attached to the pointer element or forming the pointer element or reflector for transmitting or reflecting a localization signal. Furthermore it includes at least three recipients for receiving the transmitted or reflected localization signal and an evaluation unit for determining the position of the pointer element from the received signals.

Die Lokalisationseinheit kann insbesondere am Mixed-Reality-Display befestigt sein, so dass die Position des Zeigerelementes im realen Raum mit Bezug auf das Mixed-Reality-Display und damit den Betrachter bestimmt wird. Dies kann die Umsetzung in die Position im dreidimensionalen virtuellen Raum erleichtern, wenn die Positionen im virtuellen Raum ebenfalls auf den Betrachter bezogen sind.The Localization unit may in particular on the mixed reality display be attached, so that the position of the pointer element in the real Space with respect to the mixed reality display and thus the viewer is determined. This can be the implementation in the position in three-dimensional facilitate virtual space when the positions in virtual space also are related to the viewer.

Es ist jedoch auch möglich, die Position des Zeigerelementes mit Bezug auf einen anderen, vorzugsweise fixen Punkt im dreidimensionalen realen Raum zu ermitteln. In diesem Fall ist die Lokalisationseinheit auch zum Ermitteln der Position und der Orientierung des Mixed-Reality-Displays ausgebildet, so dass die Position des Zeigerelementes im Bezug auf das Mixed-Reality-Display berechnet werden kann. Wenn in dem Raum, in dem die Lokalisation stattfinden soll, bereits eine geeignete Lokalisationseinheit vorhanden ist, ermöglicht diese Ausgestaltung das Verwenden der vorhandenen Lokalisationseinheit als Lokalisationseinheit der erfindungsgemäßen Gerätefunktionssteuervorrichtung. Der Bezug der ermittelten Position zum Mixed- Reality-Display kann bspw. mittels einer Software zum Durchführen einer Koordinatentransformation hergestellt werden.It but it is also possible the position of the pointer element with respect to another, preferably determine fixed point in three-dimensional real space. In this Case is the localization unit also for determining the position and the orientation of the mixed reality display, so that calculates the position of the pointer element with respect to the mixed reality display can be. If in the room where the localization take place should a suitable localization unit already exist, allows this embodiment using the existing localization unit as a localization unit of the device function control device according to the invention. The reference of the determined position to the mixed reality display can, for example, by means of a Software for performing a Coordinate transformation are produced.

Das virtuelle Betätigungselement sowie die Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes, welche die Gerätesteuerfunktion auslöst, können in einer besonderen Ausgestaltung der erfindungsgemäßen Gerätefunktionssteuervorrichtung einem realen Betätigungselement, bspw. einer Taste, einem Schiebeschalter, einem Drehschalter, etc. bzw. der beim Betätigen eines entsprechenden realen Betätigungselementes auftretenden räumlichen Beziehung nachempfunden sein, was ein besonderes intuitives Bedienen ermöglicht.The virtual actuator, as well as the relationship between the virtual position of the pointer object and the virtual position of the virtual actuator that triggers the device control function, may be described in particular Design of the device function control device according to the invention a real actuator, for example. A button, a slide switch, a rotary switch, etc. or the occurring upon actuation of a corresponding real actuator spatial relationship be modeled, which allows a special intuitive operation.

Ein erfindungsgemäßes optisches Beobachtungsgerät, das insbesondere als Operationsmikroskop ausgestaltet sein kann, umfasst eine erfindungsgemäße Gerätefunktionssteuervorrichtung.One optical according to the invention Monitoring device, which can be configured in particular as a surgical microscope, comprises a device function control device according to the invention.

Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispieles, wobei auf die beiliegenden Zeichnungen Bezug genommen wird.Further Features, characteristics and advantages of the present invention result from the following description of an embodiment, with reference to the accompanying drawings.

1 zeigt ein Blockschaltbild für die erfindungsgemäße Gerätefunktionssteuervorrichtung. 1 shows a block diagram for the device function control device according to the invention.

2 zeigt in einer schematischen Darstellung ein Mixed-Reality-Display in dem mehrere virtuelle Tasten dargestellt sind. 2 shows a schematic representation of a mixed reality display in which several virtual buttons are shown.

3 zeigt einen Ausschnitt aus 2 in einer vergrößerten Darstellung. 3 shows a section 2 in an enlarged view.

Als ein Ausführungsbeispiel für die erfindungsgemäße Gerätefunktionssteuervorrichtung ist in 1 eine Gerätefunktionssteuervorrichtung für ein Operationsmikroskop, bei dem ein Bild mittels eines CCD-Chips 5 aufgenommen und mittels einer Stereobeobachtungsbrille 1 mit Mikrodisplays dargestellt wird, als Blockschaltbild gezeigt. Die Stereobetrachtungsbrille 1 ist mit einer Darstellungseinheit 3 der Gerätefunktionssteuervorrichtung 2 verbunden, welche dazu ausgestaltet ist, eine Reihe von Gerätesteuerfunktionen repräsentierende virtuelle Tasten 15a–15f in den Mikrodisplays der Stereobrille 1 anzuzeigen. Optional kann der CCD-Chip 5 ebenfalls mit der Darstellungseinheit 3 verbunden sein, wobei diese dann auch das Darstellen der mit dem CCD-Chip 5 aufgenommenen Bilder in den Mikrodisplays der Stereobrille übernimmt. Wenn das medizinische Gerät, für das die Gerätefunktionssteuervorrichtung 2 Verwendung findet, eine eigene Darstellungseinheit besitzt, wie etwa ein Operationsmikroskop mit digitaler Bilddarstellung, kann auch diese Darstellungseinheit als Darstellungseinheit der Funktionssteuervorrichtung 2 dienen.As an embodiment of the device function control device according to the invention is in 1 a device function control device for a surgical microscope, in which an image by means of a CCD chip 5 taken and by means of stereo glasses 1 is shown with microdisplays, shown as a block diagram. The stereo viewing glasses 1 is with a presentation unit 3 the device function control device 2 which is adapted to a virtual key representing a number of device control functions 15a - 15f in the micro-displays of the stereo glasses 1 display. Optionally, the CCD chip 5 also with the presentation unit 3 be connected, which then also representing the with the CCD chip 5 recorded images in the microdisplays of the stereo glasses. If the medical device for which the device health control device 2 Use, owns a separate display unit, such as a surgical microscope with digital image display, this display unit as a display unit of the function control device 2 serve.

Die Gerätefunktionssteuervorrichtung 2 umfasst eine Funktionssteuereinheit 7, die eine Reihe von Gerätesteuerfunktionen repräsentierende virtuelle Tasten 15a–15f zur Verfügung stellt und mit der Darstellungseinheit 3 zum Darstellen der virtuellen Tasten 15a–15f in den Mikrodisplays der Stereobetrachtungsbrille 1 verbunden ist. Das Darstellen der virtuellen Tasten 15a–15f in den beiden Mikrodisplays 1a und 1b erfolgt dabei derart, dass sich beim Betrachter ein räumlicher Eindruck einstellt (2 und 3). Die Darstellungseinheit 3 stellt außerdem ein virtuelles Zeigerobjekt 17, dessen Position im virtuellen Raum von der Position der Spitze des Zeigefingers 19 im realen Raum bestimmt wird, in den beiden Mikrodisplays 1a, 1b ebenfalls so dar, dass ein räumlicher Eindruck entsteht. Wenn der Finger im virtuellen Raum mit abgebildet wird, kann insbesondere auch das Bild der Fingerspitze 19 selbst als Zeigerobjekt 17 Verwendung finden.The device function control device 2 includes a function control unit 7 , the virtual keys representing a number of device control functions 15a - 15f provides and with the presentation unit 3 to display the virtual buttons 15a - 15f in the microdisplay of the stereo viewing glasses 1 connected is. Showing the virtual buttons 15a - 15f in the two microdisplays 1a and 1b takes place in such a way that the viewer is given a spatial impression ( 2 and 3 ). The presentation unit 3 also provides a virtual pointer object 17 , whose position in virtual space from the position of the tip of the index finger 19 in real space is determined in the two microdisplays 1a . 1b also in such a way that a spatial impression arises. If the finger is imaged in the virtual space, especially the image of the fingertip can 19 even as a pointer object 17 Find use.

Außerdem umfasst die Gerätefunktionssteuervorrichtung 2 eine Umsetzungseinheit 9, die mit der Darstellungseinheit 3 sowie mit einer Auslöseeinheit 11 verbunden ist. Außer mit der Darstellungseinheit 3 und der Auslöseeinheit 11 ist die Umsetzungseinheit 9 noch mit einer Lokalisationseinheit 13 verbunden, die im Ausführungsbeispiel zum Lokalisieren der Zeigefingerspitze 19 des Benutzers des Operationsmikroskops ausgebildet ist und die Koordinaten der Zeigefingerspitze 19 im realen Raum als Koordinatendaten an die Umsetzungseinheit 9 weitergibt. Diese rechnet die Koordinaten der Fingerspitze 19 im realen Raum mit Hilfe einer Abbildungsvorschrift oder Koordinatentransformationsregel in eine Position im virtuellen Raum um und ordnet die so ermittelte Position im virtuellen Raum dem Zeigerobjekt 17 zu. Die Position des Zeigerobjektes 17 gibt die Umsetzungseinheit 9 dann an die Darstellungseinheit 3 weiter, welche das Zeigerobjekt 17 in der empfangenen Position darstellt.In addition, the device function control device includes 2 a conversion unit 9 that communicate with the presentation unit 3 as well as with a trip unit 11 connected is. Except with the presentation unit 3 and the trip unit 11 is the implementation unit 9 still with a localization unit 13 connected in the embodiment for locating the index finger tip 19 the operator of the surgical microscope is formed and the coordinates of the index finger tip 19 in real space as coordinate data to the conversion unit 9 passes. This calculates the coordinates of the fingertip 19 in real space with the help of a mapping rule or coordinate transformation rule into a position in the virtual space and assigns the thus determined position in the virtual space the pointer object 17 to. The position of the pointer object 17 gives the conversion unit 9 then to the presentation unit 3 continue, which the pointer object 17 in the received position.

Die Lokalisationseinheit 13 ist im dargestellten Ausführungsbeispiel durch zwei an der Stereobeobachtungsbrille 1 befestigte Beobachtungskameras 13a, 13b zusammen mit einer Bilderkennungseinheit zum Erkennen eines an der Spitze des Zeigefingerabschnitts eines sterilen Handschuhs angebrachten Markers und einer Auswerteeinheit zum Ermitteln der Koordinaten des Markers aus den dreidimensionalen Bildinformationen realisiert.The localization unit 13 is in the illustrated embodiment by two on the stereo observation glasses 1 attached observation cameras 13a . 13b realized together with an image recognition unit for recognizing a marker attached to the tip of the forefinger portion of a sterile glove and an evaluation unit for determining the coordinates of the marker from the three-dimensional image information.

Außer an die Darstellungseinheit 3 gibt die Umsetzungseinheit 9 die Position des Zeigerobjektes 17 im virtuellen Raum auch an die Auslöseeinheit 11 weiter, die von der Funktionssteuereinheit 7 zudem die Koordinaten der Tasten 15a–15f im virtuellen Raum empfängt. Wenn die Auslöseeinheit feststellt, dass die von der Umsetzungseinheit 9 empfangene Position eine bestimmte räumliche Beziehung zu einer der virtuellen Tasten 15a–15f aufweist, gibt die Auslöseeinheit 11 ein bestimmtes Auslösesignal für eine Gerätesteuerfunktion an die Funktionssteuereinheit 7 aus, auf das hin diese die entsprechende Gerätesteuerfunktion ausführt.Except for the presentation unit 3 gives the conversion unit 9 the position of the pointer object 17 in virtual space also to the trip unit 11 that continues from the function control unit 7 also the coordinates of the keys 15a - 15f in the virtual room. If the trip unit determines that the of the conversion unit 9 received position a certain spatial relationship with one of the virtual buttons 15a - 15f has, indicates the trip unit 11 a specific trigger signal for a device control function to the function control unit 7 to which this performs the appropriate device control function.

Eine mögliche räumliche Beziehung zwischen den Tasten 15a–15f als Betätigungselementen und dem Zeigerobjekt 17, die eine Gerätesteuerfunktion auslöst, wird nachfolgend beschrieben:
Die virtuellen Tasten 15a–15f weisen jeweils eine Tastfläche 21a–21f und eine Betätigungsrichtung, die im Wesentlichen senkrecht auf der Tastfläche steht, auf. Sobald die Position des Zeigerobjektes 17 mit der Position eines Punktes auf der Tastfläche 21a–21f einer der Tasten 15a–15f übereinstimmt, interpretiert die Auslöseeinheit 11 eine Bewegung des Zeigerobjektes 17 in Tastrichtung, als ein Betätigen der Taste und gibt ein Auslösesignal an die Funktionssteuereinheit 7 aus, auf das hin die Funktionssteuereinheit 7 die mit der Taste verbundene Gerätesteuerfunktionen ausführt. Außerdem gibt die Auslöseeinheit 11 das Ausmaß der Bewegung des Zeigerobjektes 17 in Tastrichtung an die Funktionssteuervorrichtung 7 weiter, welche die Darstellungseinrichtung 3 daraufhin veranlasst, die Darstellung der entsprechenden Taste in der Stereobeobachtungsbrille 1 an das Ausmaß der Bewegung anzupassen. Wenn sich das Zeigerobjekt 17 wieder von der Tastfläche 21a–21f entfernt, so veranlasst die Funktionssteuereinheit 7 die Rückkehr der Darstellung der Taste in ihre Ausgangsposition.A possible spatial relationship between the keys 15a - 15f as actuators and the pointer object 17 that triggers a device control function is described below:
The virtual buttons 15a - 15f each have a tactile surface 21a - 21f and an actuating direction that is substantially perpendicular to the touch surface, on. Once the position of the pointer object 17 with the position of a point on the touch surface 21a - 21f one of the buttons 15a - 15f matches, the trip unit interprets 11 a movement of the pointer object 17 in the scanning direction, as pressing the button and gives a trigger signal to the function control unit 7 out, on the back to the function control unit 7 performs the device control functions associated with the button. In addition, the trip unit gives 11 the extent of movement of the pointer object 17 in the scanning direction to the function control device 7 continue, which the presentation device 3 then prompted the appearance of the corresponding button in the stereo viewing glasses 1 to adapt to the extent of the movement. When the pointer object 17 again from the touch surface 21a - 21f removed, so causes the function control unit 7 the return of the representation of the key to its starting position.

Um einem unbeabsichtigten Betätigen einer virtuellen Taste 15a–15f vorzubeugen, kann in der Auslöseeinheit 11 ein Schwellenwert für die Bewegung des Zeigerobjektes 17 in Tastrichtung abgelegt sein, der überschritten werden muss, damit das Auslösesignal an die Funktionssteuereinheit 7 ausgegeben wird.To accidentally press a virtual key 15a - 15f can prevent in the trip unit 11 a threshold for the movement of the pointer object 17 stored in the scanning direction, which must be exceeded, so that the trigger signal to the function control unit 7 is issued.

Die Darstellung der Tasten 15a–15f erfolgt im vorliegenden Ausführungsbeispiel derart im oberen Bereich der Mikrodisplays 1a, 1b, dass sie bei einem Bewegen des Kopfes immer in Blickrichtung des Betrachters bleiben. In einer alternativen Ausgestaltung kann das Darstellen der virtuellen Tasten 15a–15f jedoch auch so erfolgen, dass sie vom Betrachter nur zu sehen sind, wenn er in eine bestimmte Richtung schaut, so dass die virtuellen Tasten 15a–15f als im realen Raum fixiert erscheinen.The representation of the keys 15a - 15f takes place in the present embodiment in the upper area of the microdisplays 1a . 1b that they always remain in the direction of the viewer when moving the head. In an alternative embodiment, the presentation of the virtual keys 15a - 15f however, they can only be seen by the viewer when looking in a certain direction, so that the virtual buttons 15a - 15f appear fixed in real space.

Im vorliegenden Ausführungsbeispiel wurde als Lokalisationseinheit eine 3D-Kamera zusammen mit einer Bilderkennungseinheit verwendet. Alternativ kann jedoch auch eine Lokalisationseinheit zur Anwendung kommen, die auf einem vom Zeigerelement ausgehenden oder von diesem reflektierten Lokalisationssignal beruht. Am Zeigerelement ist in diesem Fall ein Sender oder Reflektor zum Senden bzw. Reflektieren des Lokalisationssignals angebracht. Zum Empfang des gesendeten oder reflektierten Lokalisationssignals stehen drei oder mehr Empfänger zur Verfügung. Eine Auswerteeinheit ermittelt dann die Position des Zeigerelementes bspw. aus den Laufzeiten oder den Laufzeitdifferenzen der Signale zu den jeweiligen Empfängern.in the present embodiment was a localization unit a 3D camera together with an image recognition unit used. Alternatively, however, also a localization unit are used, which are based on a pointer element or is based on this reflected localization signal. At the pointer element is in this case a transmitter or reflector for transmitting or reflecting of the localization signal. To receive the sent or reflected localization signal, there are three or more receivers Available. An evaluation unit then determines the position of the pointer element For example, from the maturity or the maturity differences of the signals to the respective recipients.

Die Auslöseeinheit 11 ist im Ausführungsbeispiel als selbständige Einheit innerhalb der Gerätefunktionssteuervorrichtung ausgebildet. Sie kann alternativ jedoch auch in die Funktionssteuereinheit 7 integriert sein.The trip unit 11 is formed in the embodiment as a separate unit within the device function control device. However, it can alternatively also be in the function control unit 7 be integrated.

Mit dem erfindungsgemäße Verfahren lassen sich nicht nur mit der Hand zu betätigende virtuelle Betätigungselemente realisieren, sondern auch virtuelle Fußschalter. Im letzten Fall dient bspw. die Fußspitze als Zeigerelement. With the inventive method not just hand-operated virtual actuators realize, but also virtual footswitch. In the last case serves, for example, the toe as a pointer element.

Claims

Method for providing a non-contact device function control for a medical device, which displays medical image information in a mixed-reality display ( 1 ), comprising the steps: - providing at least one virtual actuating element ( 15a - 15f ) with device control function in a virtual position of a three-dimensional virtual space; Representing the virtual actuator ( 15a - 15f ) and a pointer object ( 17 ) together with the medical image information in the mixed-reality display ( 1 ); - locate a pointer element ( 19 ) in three-dimensional real space; - converting the spatial position of the pointer element ( 19 ) in three-dimensional real space into a virtual position of the pointer object ( 17 ) in three-dimensional virtual space; and - performing the device control function when a given spatial relationship between the virtual position of the pointer object ( 17 ) and the virtual position of the virtual actuator ( 15a - 15f ) in three-dimensional virtual space.

Method according to Claim 1, in which the at least one virtual actuating element ( 15a - 15f ) is displayed next to, above or below the medical image information.

Method according to Claim 1, in which the at least one virtual actuating element ( 15a - 15f ) of the medical image information is superimposed.

The method of claim 1, wherein the orientation of the three-dimensional virtual space is so firmly connected to the three-dimensional real space that the at least one provided in the three-dimensional virtual space actuator ( 15a - 15f ) only in a specific, related to the three-dimensional real space orientation of the mixed-reality display ( 1 ) you can see.

Method according to one of claims 1 to 4, wherein the localization of the pointer element ( 19 ) happens in three-dimensional real space by optical means.

Method according to one of the preceding claims, wherein the conversion of the spatial position of the pointer element ( 19 ) in three-dimensional real space into the virtual position of the pointer object ( 17 ) takes place in three-dimensional virtual space by means of a coordinate transformation.

Method according to one of the preceding claims, in which both the virtual actuating element ( 15a - 15f ) as well as the relationship between the virtual position of the pointer object ( 17 ) and the virtual position of the virtual actuator ( 15a - 15f ), which triggers the device control function, a real actuation element and the spatial relationship occurring upon actuation of a corresponding real actuation element are modeled.

Device function control device ( 2 ) for medical devices in which medical image information by means of a mixed-reality display ( 1 ), comprising: a function control unit ( 7 ), the at least one device control function and at least one virtual control element associated with the device control function ( 15a - 15f ) in a certain virtual position in a three-dimensional virtual space and that for displaying the at least one virtual control element ( 15a - 15f ) as well as a pointer object ( 17 ) in the mixed reality display ( 1 ) together with medical image information with a presentation unit ( 3 ) is connected or connectable; - a localization unit ( 13 ) for determining the position of a pointer element ( 19 ) in three-dimensional real space; - one with the localization unit ( 13 ) and with the presentation unit ( 3 ) connected or connectable implementation unit ( 9 ) for converting the position of the pointer element ( 19 ) in three-dimensional real space into a virtual position of the pointer object ( 17 ) in three-dimensional virtual space; and - one with the function control unit ( 7 ) and the implementation unit ( 9 ) associated trip unit ( 11 ) for triggering the device control function when a given spatial relationship between the virtual position of the pointer object ( 17 ) and the virtual position of the virtual actuator ( 15a - 15f ) given is.

Device function control device ( 2 ) according to claim 8, wherein the localization unit ( 13 ) a 3D observation camera ( 13a . 13b ) and an evaluation unit for determining the position of the pointer element ( 19 ) from the image data of the 3D observation camera ( 13a . 13b ).

Device function control device ( 2 ) according to claim 8, wherein the localization unit ( 13 ) comprises: - one on the pointer element ( 19 ) or the pointer element ( 19 ) forming transmitter or reflector for transmitting or reflecting a localization signal; At least three receivers for receiving the transmitted or reflected localization signal; and - an evaluation unit for determining the position of the pointer element ( 19 ) from the received signals.

Device function control device ( 2 ) according to one of claims 8 to 10, in which the localization unit ( 13 ) also for determining the position and the orientation of the mixed-reality display ( 1 ) is trained.

Device function control device ( 2 ) according to one of claims 8 to 11, in which both the virtual actuator ( 15a - 15f ) as well as the relationship between the virtual position of the pointer object ( 17 ) and the virtual position of the virtual actuator ( 15a - 15f ), which triggers the device control function, a real actuation element and the spatial relationship occurring upon actuation of a corresponding real actuation element are modeled.

Optical observation device with a device function control device ( 2 ) according to one of claims 8 to 12.

Optical observation device according to claim 13, characterized by its design as a surgical microscope.