[go: up one dir, main page]

WO1999003013A1 - Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes - Google Patents

Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes Download PDF

Info

Publication number
WO1999003013A1
WO1999003013A1 PCT/DE1998/001840 DE9801840W WO9903013A1 WO 1999003013 A1 WO1999003013 A1 WO 1999003013A1 DE 9801840 W DE9801840 W DE 9801840W WO 9903013 A1 WO9903013 A1 WO 9903013A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
enhancement system
image enhancement
eye
scan
Prior art date
Application number
PCT/DE1998/001840
Other languages
English (en)
French (fr)
Inventor
Heinrich Alexander Eberl
Günter ABERSFELDER
Helmut Grantz
Thorsteinn Halldorsson
Horst Schmidt-Bischoffshausen
Stefan Uhl
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Priority to EP98942492A priority Critical patent/EP1000376A1/de
Priority to US09/462,440 priority patent/US6523955B1/en
Priority to JP50798799A priority patent/JP2002510407A/ja
Publication of WO1999003013A1 publication Critical patent/WO1999003013A1/de

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention relates to glasses with the aid of which a retinal reflection on the inside of the retinal reflex image of the eye is recorded electronically with different brightness of the surroundings, modified with a computer and superimposed on the original image physiologically without delay via a lighting device and a back reflection via the same glasses is that there is an improved visual impression.
  • HMD Helmet-mounted-display
  • the eye itself is able to roughly stabilize the retinal image by adjusting movements of the eye apple, which originate from so-called vestibular ocular reflexes (VOR) of the ear-canal system and serves to hold the fixation point during head movements.
  • VOR vestibular ocular reflexes
  • the fine adjustment is done with the image as a reference.
  • This image tracking is also used by the eye to adapt the VORs to dynamic eye alignment.
  • the object of the invention is to solve the problems of image stabilization when superimposing external images with the real image.
  • the invention is based on the older German patent application 19631414 with the designation: "Device for recording the retinal reflex and superimposition of additional images in the eye”.
  • This describes a device with which the retinal reflex image using a confocal imaging, two-axis scanning system via the reflection of the The inside of partially transparent and appropriately curved glasses is recorded in series with a highly sensitive photodetector.
  • the above-mentioned problems are basically solved with this technique, but concrete implementations and applications have not been specified.
  • the basic idea of the new invention to use this method to improve the perception of the eye.
  • the physical-technical problems that have to be solved for this result from the physiological properties of the eye and the constantly changing lighting conditions in the environment. Because of the variable lighting conditions and the different optical tasks in its basic functions, the eye is a very dynamic sense organ. It adapts to varying the intensity of the backlight over 12 decades. It switches from color vision in daylight to pure black and white vision at night. Light in the wavelength range 400-1500 nm is from transmitted to the eye and imaged on the retina. Only light in the range of 400 nm to 750 nm is perceived, ie the infrared light in the range of 750-1500 nm, which is very bright with both exterior and interior lighting, remains unused for visual perception.
  • the eye detects an angular range of approximately 100 ° horizontally and vertically.
  • the image resolution decreases very quickly with the angular distance from the visual axis.
  • instantaneous vision is limited to a central angular range of only +/- 5 ° and "sharp" vision, for example when reading or driving, is limited to the very small central angular range of +/- 0.5 °
  • Different movements of the eyes This leads to the following consequences, which under certain circumstances impair the perception of the eye and which are to be improved in the context of the new invention:
  • the object of the present invention is now to propose an arrangement which, like the eye, is designed to be very variable in its basic functions and adapted to the requirements of the visual process, but at the same time the special physiology and dynamics of the eye and the varying lighting conditions of the environment and the invisible IR range taken into account and exploited.
  • This can only be achieved inadequately with the scanning and scanning variants (serial raster scan, serial spiral scan) specified in the earlier invention report. This concerns both the scanning pattern of the image recording of the retinal reflex and the rear projection of the laser image into the eye.
  • a fundamental problem of serial versus parallel image scanning is the short dwell time of the scanner in every image pixel.
  • a uniform scan for example of 0.5 million pixels in a scan time of 40 ms, means an integration time of only 0.08 ⁇ s, ie 80 ns, in each pixel.
  • the parallel time integration of all pixels of the eye itself is 10-20 ms.
  • a laser power of approximately 40 ⁇ W is necessary in order to achieve a signal-to-noise ratio of 17 from an image pixel during the raster scan (see, for example, A Plesch, U. Klingbeil, and J. Bille, "Digital laser scanning fundus camera", Applied Optics, Vol. 26, No. 8. p.1480-1486 (1987)).
  • serial image scanning has the crucial advantage of better suppression of stray light, easier optics and the possibility of exact reversal of the beam path when image back projection with a laser for the recording of the retinal reflex and for this reason should be retained in this invention report.
  • An extension of the dwell time can be achieved by changing the scan pattern.
  • the raster scan is by no means the optimal scan pattern.
  • a scan pattern adapted to the vision process should become increasingly slower and denser for day vision towards the center, and vice versa for adaptation to night vision.
  • the recorded signal can be influenced by changing the spot size of the scan and thus also the image resolution.
  • the number of signal photons N s that are recorded by the retina per image pixel by a scanning recording device can be calculated using the following formula:
  • N S (BT ⁇ ⁇ ) (A 0 R) (S / 2 ⁇ ) (A p / D 2 ) (1 / ⁇ )
  • T the optical transmission from the retina to the photodetector
  • the integration time in an image pixel on the retina
  • a 0 the area of the image pixel
  • R reflectivity of the image pixel
  • spectral width of the received signal
  • a p pupil area
  • the invention proposes scanning the retina in a sequence of concentric circles (circle center is equal to fovea centralis), whose radius gradually increases or decreases.
  • This type of scanning is known as a circular scan.
  • the circular scan is optimal due to the rotational symmetry of the eye lens and the pupil around the visual axis and the rotationally symmetrical distribution of the photoreceptors in the retina.
  • the invention further proposes that an identical circular scan be used for the recording of the retinal reflex from the surroundings and the image projection with the laser. Since with the circular scan from the outside to the center, after reaching the center, the scan axis runs the same way backwards, you can either take the image during the scan to the center and project it from the center to the outside, or take the image over the entire scanning process and projection only in a second can be used.
  • the circular scan With a constant deflection of scanning mirrors in two directions (Lissajou figure), the circular scan inevitably slows down the dwell time towards the center.
  • the invention provides that, for day vision, the scanning time of neighboring circles, depending on the exposure conditions, can be additionally slowed down and even accelerated for night vision.
  • the sampling rate (residence time per pixel) in this area can be increased by this factor, 100.
  • a circular scan can be carried out in analog control with periodically oscillating orthogonal scanning mirrors, or in digital control by approaching the circular track with a large number of straight sections.
  • analog control signals which are digital can be called and are best suited for these variable conditions.
  • the invention further provides that the current image pixel size on the retina can be variably set in addition to the scanning speed.
  • the image resolution is also adapted to the situation.
  • the resolution can be set by changing the radius of the scan radii.
  • the image resolution is determined by the aperture diameter in the intermediate focus in front of the photodetector and can be adjusted by changing it.
  • the invention provides that liquid crystal diaphragms or electro-optical diaphragms are used for this so that this setting is as fast as possible, i.e. can be performed within one sampling cycle.
  • the invention proposes that the change in the scanning process and aperture control in the projection channel is the same as in the recording channel.
  • the variation in the optical integration time and image pixel area can then be compensated for in the projection channel by correspondingly varying the transmission power of the laser.
  • the level of the received signal is also dependent on the spectral bandwidth of the receiver and can be increased by broadening it.
  • the invention provides that in the area of bright day vision (photopic vision) a splitting of the beam path into the color channels red-green-blue corresponding to the eye color sensitivity can be carried out with a spectral width of about 100 nm each. This enables color-true image recording and, with appropriate three-color lasers, a color back projection into the eye.
  • the invention provides for the merging of all channels into a single (black and white) receiving channel without color resolution. Furthermore, the invention provides that this receiving channel not only encompasses the visible range of 400-700 nm, but also the near infrared range of 700-1000.
  • the eye has full transparency between 400 - 1000 nm and displays a comparable image between 700 - 1000 nm and between 400 - 700 nm.
  • Photo receivers with high quantum efficiency such as photomultipliers and silicon avalanche diodes are available over the entire spectral range from 400 to 1000 nm
  • Incandescent lamps which are used for indoor lighting of buildings, or outdoors for street lighting and vehicles, emit 10 times more light between 700 and 1000 nm than between 400 and 700 nm.
  • the reflectivity of the vegetation of nature is higher by a factor of 5-10 between 700 - 1000 nm than between 400 - 700 nm.
  • the received signal can be increased again by a factor of 100 by expanding the spectral range.
  • the expansion of the spectral range can either be permanently installed in each device or can be made variable by changing spectral filters. If a color display is not required, it makes sense to use green laser light for the rear projection into the eye because of the highest sensitivity and contrast perception of the eye with this color.
  • Additional methods for signal improvement that can be used here are the integration of several successive images and the image correlation, e.g. Images of the two eyes.
  • the receiving area of this dynamic recording system comprises irradiations on the retina between 10 " W / cm and 100 W / cm, which includes the area of the typical inside and outside brightness .
  • the scanning system Because of the slow and fast eye movements, it is necessary to design the scanning system so that it constantly follows the change of the visual axis through the glasses, i.e. that the axis of symmetry of the image scan, both in the recording and in the projection, is identical to the visual axis.
  • the invention provides that before and after the scanning of the network treflexes or the image projection into the eye, a Centering the circular scan on the eye pupil is performed.
  • the largest scanning angle of the circular scan is selected so that when the scan symmetry axis is deposited from the visual axis, the outer surface of the eyeball, sclera with rainbow skin and pupil opening is detected by the circular scan. Since these parts of the eye, which are well illuminated by the outside light, are not imaged sharply, but diffusely in the intermediate image plane of the photodetector, the received signal does not provide any image information here, but rather an integral indication of the optical backscattering capacity of the original.
  • Fig. 1 shows schematically the concentric scanning process with adjusted system
  • Fig. 2 shows the search mode for centering the scan through the eye pupil.
  • the invention provides that pupil tracking in the outer regions of the circular scan, with simultaneous signal evaluation in the recording channel as described above, is also carried out with the active illumination of the laser projection into the eye.
  • the invention also provides that the light scattered back by both the surroundings and the laser is recorded and evaluated even during the laser image projection.
  • This simultaneous recording of the retinal reflex from the environment and the post-processing laser image projection opens up the possibility of the degree of overlap and constantly checking the temporal synchronization of the two images, recognizing any differences as image interference (moiré pattern), in order to then compensate for them subsequently using correction signals.
  • the recording and projection technique in the sense of the invention can be carried out either independently on one eye of a viewer or on both eyes at the same time. Because of the steroscopic vision of both eyes, a three-dimensional image recording and image reproduction is realized in the latter case.
  • Two scanning elements and a correction mirror which can also be adjustable, are used to adjust the scan by the eye, even with the various eye movements.
  • 3 shows a schematic overview of the entire system.
  • the retina of the NH eye is scanned with the focused beam.
  • AA represents the eyeball and AP the eye pupil.
  • the partially permeable glasses are referred to here as BG.
  • the rays passing through from the surroundings are focused on the retina, at the same time the retina is scanned at points, the scanning beam always looking into a radiation sink through the glasses.
  • the circular scan is carried out with the two-axis scanning elements HSS and VSS.
  • the auxiliary mirror HS which can be actively adjustable, the direction of incidence and position of the beam on the inner surface of the glasses BG are set.
  • the SUS jet switch Either the illuminating laser beam can be passed through a central bore and the reception beam, which usually has a much larger diameter, can be reflected into the reception unit in separate directions, or an actively switching mirror element can be used that switches between reception and transmission.
  • the receiving unit can e.g. from three separate reception channels for the primary colors red, green and blue or other wavelength ranges e.g. exist in the near infrared range.
  • the beam path of all spectral channels is brought onto an axis using dichroic mirrors DS.
  • An actively adjustable field-of-view aperture GFB is used to adjust the spot size of the scanning beam on the retina and to possibly fine-tune the optical axis.
  • the sending unit can e.g. be created from three lasers with the basic colors red LR, green LG and blue LB.
  • the individual beams are either modulated externally with image modulators MR, MG and MB or, more simply, directly via the excitation current of the laser emission.
  • the size and position of the laser scanning spot on the retina is controlled by an actively controllable aperture LAA which is set in the intermediate focus of two lenses in the beam path.
  • the receivers for scanning the retinal reflex image are e.g. Suitable for photomultipliers, which alternately automatically switch to photon-counting operation when the optical signals are very weak and to a measuring operation when the signals are strong.
  • Avalanche photodiodes can also be used as receivers.
  • Semiconductor lasers or miniaturized solid-state lasers with a low continuous wave power are provided as light sources for the rear projection of the images into the eye, which can cause no danger to the eye.
  • the image modulation could be carried out directly via their power supply. So that all colors are generated, the use of three lasers with the basic colors red, green and blue is recommended.
  • the well-known color triangle of the human face shows, everyone else can Colors as well as the non-colors gray and white are formed by color summation of monochromatic laser lines of these colors.
  • the invention also includes the possibility of using individual colors as a monochromatic solution.
  • the invention provides, as shown in Fig. 4, a signal processor SP, which electronically processes the direct image of the retina and synchronizes all functions of the device and that of scanners VSS / HSS, auxiliary mirror HS and laser spot setting LAA and size of the field of view aperture GFB coordinates.
  • the image processing computer BVC then takes over the image perceived by the eye or images from other technical sensors which are fed to the computer via an external connection EA and processes them according to a predetermined software SW before they are modulated onto the laser beams as an image signal with the aid of the signal processor.
  • the flow of the optical and electrical as well as the software signals are shown separately.
  • the complete laser unit is denoted by DE, ME as the modulation unit and PME the complete receiver unit and SUS as the beam switch between the transmitter and receiver unit.
  • laser projection makes it possible to project into the eye and merge it with the original image, and to synchronously superimpose external images that are fed to the computer from the outside into the external image in the eye. If the time span between image acquisition and projection is correspondingly short in comparison to the rapid eye movements, the eye will no longer perceive an image interruption, as when viewing a television screen.
  • the separate but simultaneous image scanning on both eyes also captures the perspective differences between the two images. Since these are retained in both eyes during laser back projection, a restoration of spatial vision is guaranteed.
  • the components used in the invention are today largely miniaturized and available inexpensively.
  • miniaturized tilting mirrors can be used.
  • the second option for producing the circular figures is to use wedge plate scanners that are designed for a beam path in transmission. The continuous beam is refracted by a fixed angle through each of the plates, the entire deflection angle can then be continuously adjusted to zero by a fixed rotation of the wedge plates against each other. When the wedge plates rotate together at a fixed rotational frequency, the deflected beam then describes a circular track.
  • the third possibility is the use of acousto-optical deflection units, which offer the advantage of low inertia and fast deflection.
  • the variably adjustable auxiliary mirror HS will preferably be a mirror that can be adjusted in two axes with microactuators.
  • micromechanical actuators such as e.g. can also be used in widely used laser printers and CD record players.
  • the beam deflection unit and scanner can be accommodated in a simple glasses frame.
  • laser projection units in a small housing e.g. can be accommodated in the size of a paperback book with food supply.
  • the data exchange with an external permanently installed image processing computer can take place either via radio waves or infrared rays. According to the current state of the art, all elements of the device of the invention could thus be carried effortlessly by a human being and the wireless image data exchange with the external computer would enable its unlimited freedom of movement.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)

Abstract

Bei einem Bildverbesserungssystem nach Anmeldung DE19631414, bei dem das Reflexbild im Inneren des Auges auf der Netzhaut (NH) abgetastet und nach Modifikation auf dem gleichen Weg in das Auge zurückprojiziert wird, wird die Verwendung eines Ellipsenscans vorgeschlagen.

Description

Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes
Die Erfindung betrifft eine Brille, mit deren Hilfe über eine Rückspiegelung an der Innenseite derselben das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen, mit einem Computer modifiziert und über eine Beleuchtungseinrichtung und eine Rückreflexion über die gleiche Brille physiologisch verzögerungsfrei dem ursprünglichen Bild so überlagert wird, daß ein verbesserter Seheindruck entsteht.
Die Verwendung von optoelektronischen Brillen zur Spiegelung von computergenerierten Bildern ins Auge mit den Namen „Cyberspace" oder „Virtual reality" nimmt heute rasant zu. Diese Technik ist sowohl für die Anwendung in der Unterhaltungsindustrie als auch in den verschiedenen Gebieten der Industrie, Verkehr und Medizin von breitem Nutzen und wird mit der Verfügbarkeit von immer schnelleren Bildverarbeitungscomputern an Verbreitung und Bedeutung ständig zunehmen.
Am weitesten verbreitet ist die Anwendung mit geschlossenen, nicht transparenten Brillen, bei der Bilder von miniaturisierten Kathodenstrahlröhren oder Flüssigkristall-Matrizen über Spiegel- oder Glasfasersysteme dem Auge dargeboten werden. Die besondere Attraktivität dieser Technik ist es, mit bewegter dreidimensionaler Bilddarstellung, den Bildablauf oder die Handlung mit verschiedenen Bewegungen des Brillenträgers zu koppeln. So wird eine Änderung der Blickrichtung durch Kopfbewegung oder Änderung der Perspektive bei fortschreitender Bewegung nachgebildet. Es können die Bewegungen der Arme und Finger des Brillenträgers mit Hilfe von Sensoren in das Bild eingebracht werden, um ihm die Möglichkeit des direkten Eingreifen in die Handlung zu ermöglichen.
In neueren Systemen mit dem Namen „augmented reality" kann der Brillenträger mit Hilfe teiltransparenter Brillen sowohl die Umgebung als auch ein über die Brille eingespiegeltes Bild von Kameras von der gleiche Szene oder von anderen Bildinhalten über einen miniaturisierten Monitor am Helm betrachten. Eine wohlbekannte Variante dieses Verfahrens ist bei der Führung von Kampflugzeugen mit dem Namen Helmet-mounted-display (HMD) bereits eingeführt.
Bei dieser Techniken sind jedoch mehrere Probleme bekannt, die auf die Wirkungsweise des Gesichtsinnes zurückzufuhren sind und auf verbesserte technische Lösungen warten. Bei einer geschlossenen Brille und einem starr gekoppelten Monitor und Monitorbild bewegt sich bei einer Kopfbewegung des Brillenträgers die Szene in gleicher Richtung mit, was seinen Sehgewohnheiten in unnatürlicher Weise widerspricht. Er ist durch die Abbildung des Auges gewohnt, daß die Szene gerade in entgegengesetzter Richtung verläuft. Dieses Problem konnte durch die umständliche Messung der Kopfbewegung und des Augapfels mit externen Drehwinkelsensoren, einer entsprechenenden Bildverarbeitung und Nachführung des generierten Bildes bis jetzt nur unvollkommen gelöst werden.
Durch Anpassungsbewegungen des Augenapfels, die von sogenannten vestibulären okularen Reflexen (VOR) des Ohren-Bogengang-Systems ausgehen und dem Festhalten des Fixationspunktes bei Kopfbewegungen dient, ist das Auge selbst in der Lage, das Netzhautbild grob zu stabilisieren. Die Feineinstellung geschieht mit dem Bild als Referenz. Dieses Bild- Tracking wird zusätzlich vom Auge verwendet, um die VORs einer dynamischen Augenausrichtung zu adaptieren.
Dies bedeutet, daß eine Überlagerung von Fremdbildern erst bei ihrer Ankopplung an das reale Netzhautbild einen wirklichkeitsgetreuen Bildeindruck geben kann.
Bei geschlossenen Brillen wird versucht das Bild der Blutgefäße (Augenhintergrund) als Referenz zu verwenden (Retina-Tracking). Das liefert allerdings nur eine ungenügende Auflösung und ist ausschließlich für monokulare Betrachtungen geeignet (siehe z.B. E.Peli, „Visual issues in the use of a head-mounted monocular display", Optical Engineering, vol. 29, No.δ, p.883 (1990). Eine gleichzeitige Stabilisierung in beiden Augen von Bildern mit diesen ist wegen der unterschiedlichen Ausrichtung der Augen praktisch unmöglich. Neben der Verschlechterung der Bildqualität, führt der Konflikt zwischen den vestibulären und visuellen Informationen häufig zu Bewegungsstörungen bis hin zur Seeta-ankheit. Diese Probleme der bestehenden Technik werden z.B. in dem Übersichtsartikel von E. Peli, „Real Vision & Virtual Reality" in Optics & Photonics News, July 1995, s. 28-34 beschrieben.
Aufgabe der Erfindung ist es, die Probleme der Bildstabilisierung bei Überlagerung von Fremdbildern mit dem realen Bild zu lösen.
Der Erfindung liegt die ältere deutsche Patentanmeldung 19631414 mit der Bezeichnung: „Vorrichtung zur Aufnahme des Netzhautreflexes und Überlagerung von Zusatzbildern im Auge" zugrunde. In dieser wird eine Vorrichtung beschrieben, mit der das Netzhautreflexbild mit Hilfe eines konfokal abbildenden, zweiachsigen Scansystems über die Reflexion der Innenseite einer teiltransparenten und entsprechend gewölbten Brille, seriell mit einem hochempfindlichen Photodetektor aufgenommen wird.
Darin wird vorgeschlagen, mit Hilfe von Lasern und eines Strahlenteilers über denselben Lichtweg in umgekehrter Richtung wie das aufgenommene Bild das verbesserte Bild auf die Netzhaut seriell abzubilden.
Darüber hinaus wird auch die Möglichkeit eröffnet, andere Bilder zusätzlich auf die Netzhaut zu überlagern.
Mit dieser Technik sind die vorgenannten Probleme grundsätzlich gelöst, jedoch wurden konkrete Realisierungen und Anwendungen nicht angegeben. Der Grundgedanke der neuen Erfindung dieses Verfahren zur Verbesserung des Wahrnehmungsvermögens des Auges einzusetzen. Die physikalischtechnischen Probleme, die dazu gelöst werden müssen, ergeben sich aus den physiologischen Eigenschaften des Auges und den ständig variierenden Beleuchtungsverhältnissen in der Umgebung. Das Auge ist wegen der variablen Lichtverhältnisse und der unterschiedlichen optischen Aufgaben in seinen Grundfunktionen ein sehr dynamisches Sinnesorgan. Es adaptiert sich an die Variation der Intensität der Hintergrundbeleuchtung über 12 Dekaden. Es schaltet vom Farbsehen beim Tageslicht auf reines schwarz/weiß Sehen in der Nacht um. Licht in dem Wellenlängenbereich 400 -1500 nm wird von dem Auge transmittiert und auf die Netzhaut abgebildet. Dabei wird nur Licht im Bereich von 400 nm bis 750 nm wahrgenommen, d.h. das infrarote Licht im Bereich von 750-1500 nm, das sowohl bei Außen- als auch Innenbeleuchtung sehr hell ist, bleibt für die visuelle Wahrnehmung ungenutzt.
Das Auge erfaßt horizontal und vertikal einen Winkelbereich von etwa 100°. Die Bildauflösung nimmt jedoch mit dem Winkelabstand von der Sehachse sehr schnell ab. Das aufmerksame momentane Sehen ist auf einen zentralen Winkelbereich von nur +/-5° begrenzt und das „scharfe" Sehen, z.B. beim Lesen oder Autofahren, ist auf den sehr geringen zentralen Winkelbereich von +/- 0,5° begrenzt. Hinzu kommen ständig verschiedenartige Bewegungen der Augen. Dies führt zu folgenden Konsequenzen, die unter bestimmten Umständen das Wahrnehmungsvermögen des Auges beeinträchtigen und die im Rahmen der neuen Erfindung verbessert werden sollen:
Adaption
Figure imgf000006_0001
Schärfeleistung
Sehfehler
Altersbedingte Minderleistung und
Bewegungsdynamik
Die Aufgabe der vorliegende Erfindung ist es nun, eine Anordnung vorzuschlagen, die ähnlich wie das Auge in ihren Grundfunktionen sehr variabel gestaltet und an die Erfordernisse des Sehvorgangs angepaßt ist, aber gleichzeitig die besondere Physiologie und Dynamik des Auges und die variierenden Beleuchtungsverhältnisse der Umgebung und den unsichtbaren IR-Bereich berücksichtigt und ausnutzt. Dies läßt sich mit den in der früheren Erfmdungsmeldung angegebenen Abtast- und Scanvarianten (serieller Rasterscan, serieller Spiralscan) nur unzulänglich erreichen. Dies betrifft sowohl das Abtastmuster der Bildaufhahme des Netzhautreflexes als auch die Rückprojektion des Laserbildes in das Auge.
Ein grundsätzliches Problem der seriellen gegenüber der parallelen Bildabtastung ist die kurze Verweilzeit des Scanners in jedem Bildpixel. Eine gleichmässige Abtastung z.B. von 0,5 Mio Bildpunkte in einer Abtastzeit von 40 ms bedeutet eine Integrationszeit von nur 0,08 μs d.h. 80 ns in jedem Bildpunkt. Im Vergleich hierzu beträgt die parallele Zeitintegration aller Bildpunkte des Auges selbst 10-20 ms.
Wie aus der Anwendung von Lasern zur Aufnahme der Netzhautstruktur des Auges in den sogenannten Laser Scanning Ophthalmoskopen bekannt ist, ist eine Laserleistung von etwa 40 μW notwendig, um beim Rasterscan ein Signal-Rausch- Verhältnis von 17 aus einem Bildpixel zu erzielen (siehe z.B. A.Plesch, U. Klingbeil, and J. Bille, „Digital laser scanning fundus camera", Applied Optics, Vol. 26, No 8. p.1480-1486 (1987)). Umgerechnet auf die größere Fläche würde dies einer Bestrahlungsstärke in einem Abbild einer ausgedehnten Quelle auf der Netzhaut von 40 W /cm2 entsprechen, was der Bestrahlungsstärke von hellen Scheinwerfern oder Sonne auf der Netzhaut entspricht, d.h. mit dem Rasterscan können erst relativ helle Quellen mit einem guten Signal-Rauschverhältnis auf der Netzhaut aufgezeichnet werden. Um die Abbildung von schwächeren Quellen auf der Netzhaut zu detektieren, muß die Empfindlichkeit wesentlich gesteigert werden.
Die serielle Bildabtastung hat jedoch für die Aufnahme des Netzhautreflexes den entscheidenden Vorteil der besseren Unterdrückung von Streulicht, der einfacheren Aufhahmeoptik und der Möglichkeit der exakten Umkehrung des Strahlenganges bei der Bildrückprojektion mit einem Laser und soll aus diesen Gründen auch in dieser Erfmdungsmeldung beibehalten werden. Eine Verlängerung der Verweilzeit kann aber durch Änderung des Scanmusters erreicht werden.
Wegen der ungleichmässigen Verteilung der Photorezeptoren, mit der höchsten Dichte der Zapfen für das scharfe Sehen im Zentrum der Netzhaut und dem entgegengesetzten Verlauf der Stäbchen für das unscharfe aber lichtempfindliche Nachtsehen, ist der Rasterscan keineswegs das optimale Scanmuster. Ein an den Sehvorgang angepaßtes Scanmuster sollte für das Tagessehen in Richtung zum Zentrum zunehmend langsamer und dichter werden, für die Anpassung an das Nachtsehen gerade umgekehrt. Außer der Verweilzeit kann das aufgenommene Signal durch Änderung der Fleckgröße der Abtastung und damit auch der Bildauflösung beeinflußt werden.
Die Anzahl der Signalphotonen Ns die von einem abtastenden Aufnahmegerät von der Netzhaut pro Bildpixel aufgenommen werden, kann nach der folgenden Formel berechnet werden:
NS = (B T Δλ τ) (A0 R ) (S/2π) (Ap/D2) (1/ε)
wobei
B = die spektrale Bestrahlungsstärke auf der Netzhaut
T = die optische Transmission von Netzhaut bis zum Photodetektor τ = die Integrationszeit in einem Bildpixel auf der Netzhaut
A0 = die Fläche des Bildpixels
R = Reflexionsvermögen des Bildpixels
Δλ = Spektrale Breite des Empfangssignals
Ap = Pupillenfläche
D = Abstand der Pupille zur Netzhaut
S/2π = der Winkel Verteilungsfaktor der optischen Rückstreuung der Netzhaut ε = Energie eines Photons bei der Aumahmewellenlänge
bezeichnen.
Wie diese Formel zeigt, können stärkere Signale, d.h. eine größere Anzahl von Signalphotonen durch folgende Maßnahmen am Aufnahmegerät gewonnen werden:
Verlängerung der Verweildauer τ des Scans in den einzelnen Bildpunkten,
Vergrößerung des Abtastflecks A0 auf der Netzhaut Vergrößerung der spektralen Bandbreite Δλ.
Die Erfindung schlägt das Abtasten der Netzhaut in einer Abfolge von konzentrischen Kreisen vor (Kreismittelpunkt ist gleich Fovea centralis), deren Radius sich sukzessive vergrößert bzw. verkleinert. Diese Art des Scannens wird als Kreisscan bezeichnet. Wegen der Rotationssymmetrie der Augenlinse und der Pupille um die Sehachse und der rotationssymmetrischen Verteilung der Photorezeptoren in der Netzhaut ist der Kreisscan optimal.
Die Erfindung schlägt weiterhin vor, daß ein identischer Kreisscan für die Aufnahme des Netzhautreflexes von der Umgebung und die Bildprojektion mit dem Laser verwendet werden. Da beim Kreisscan von außen bis zum Zentrum, nach dem Erreichen des Zentrums, die Scanachse den gleichen Weg rückwärts verläuft, kann wahlweise die Aufnahme beim Scan bis zum Zentrum und Projektion von Zentrum bis Außen, oder die Aufnahme über den gesamten Abtastvorgang und Projektion erst in einem zweiten verwendet werden.
Bei einer konstanten Auslenkung von Scanspiegeln in zwei Richtungen (Lissajou-Figur) erfolgt beim Kreisscan zwangsläufig eine Verlangsamung der Verweildauer in Richtung zum Zentrum. Die Erfindung sieht jedoch vor, daß für das Tagessehen die Scandauer benachbarter Kreise, je nach den Belichtungsverhältnissen, noch zusätzlich verlangsamt und für das Nachtsehen sogar beschleunigt werden kann.
Aufgrund der ungleichmäßigen Verteilung der Zapfen über die Netzhaut mit einer um mehr als zwei Dekaden höheren Dichte im Zentrum kann die Abtastrate (Verweildauer pro Bildpunkt) in diesem Bereich um diesen Faktor, 100 erhöht werden.
Für das Nachtsehen mit der höheren Verteilung der Stäbchen mit zunehmenden Radius ist es sinnvoll, daß die Verweildauer entgegengesetzt nach Außen in ähnlichem Maße abnimmt.
Wie dem Fachmann bekannt, läßt sich ein Kreisscan in analoger Ansteuerung mit periodisch schwingenden orthogonalen Scanspiegeln, oder in digitaler Ansteuerung durch Näherung an die Kreisspur mit einer hohen Anzahl von geraden Strecken. Als dritte Alternative bietet sich die Verwendung von programmierbaren Algorithmen analoger Ansteuersignale, die digital aufgerufen werden können und am besten für diese variblen Verhältnisse am geeignet sind.
Damit das Empfangssignal auch durch Vergrösserung des abgetasteten Bildflecks, proportional zu seiner Fläche, zusätzlich erhöht werden kann, sieht die Erfindung ferner vor, daß die momentane Bildpixelgröße auf der Netzhaut zusätzlich zur Scangeschwindigkeit variabel eingestellt werden kann.
Mit der Änderung der Bildfleckgröße wird auch die Bildauflösung entsprechend der Situation angepaßt. Außer der Veränderung der Abtastfläche kann die Auflösung durch variablen Radiensprung der Scanradien eingestellt werden.
Mit einer Vergrößerung des abtastenden Bildpixels von z.B. 10 μm auf 100 μm wird z.B. die Bildauflösung von etwa 2 bis 20 Bogenminuten (Auflösungsbereich des Lesens und Betrachtern) um einen Faktor 10 reduziert, gleichzeitig wird das empfangene Signal um einen Faktor 100 erhöht.
Wie dem Fachmann bekannt, ist bei der konfokalen Abtasten die Bildauflösung durch den Blendendurchmesser im Zwischenfokus vor dem Photodetektor bestimmt und kann durch seine Veränderung eingestellt werden. Die Erfindung sieht vor, daß hierfür Flüßigkristallblenden oder elektro-optische Blenden verwendet werden, damit diese Einstellung möglichst schnell, d.h. innerhalb eines Abtastzyklus, durchgeführt werden kann.
Da der zeitliche Ablauf des Scannens und die Größe des Bildpixels bei Aufnahme und Projektion möglichst identisch sein sollten, schlägt die Erfindung vor, daß die die Änderung des Scanverlaufs und Blendenregelung im Projektionskanal die gleiche ist wie im Aufhahmekanal. Die Variation der optischen Integrationszeit und Bildpixelfläche kann dann im Projektionskanal durch entsprechende Variation der Sendeleistung des Lasers kompensiert werden. Die Höhe des Empfangssignals ist weiterhin von der spektralen Bandbreite des Empfängers abhängig und kann durch ihre Verbreiterung erhöht werden. Die Erfindung sieht vor, daß im Bereich des hellen Tagessehen (photopisches Sehen) eine der Augenfarbempfindlichkeit entsprechende Aufspaltung des Strahlenganges in die Farbkanäle Rot-Grün-Blau mit je einer spektralen Breite von etwa 100 nm vorgenommen werden kann. Dies ermöglicht eine farbechte Bildaufhahme und mit entsprechenden dreifarbigen Lasern eine farbliche Zurückprojektion ins Auge.
Bei einer schwacher Umgebungsbeleuchtung, bei der Farben nicht mehr vom Auge wahrgenommen werden (scotopisches Sehen) sieht die Erfindung die Zusammenlegung aller Kanäle zu einem einzigen (schwarz/weiß) Empfangskanal ohne Farbauflösung vor. Weiterhin sieht die Erfindung vor, daß dieser Empfangskanal nicht nur den sichtbaren Bereich von 400 - 700 nm, sondern zusätzlich den nahen infraroten Bereich von 700 - 1000 umfaßt.
Dies bringt zur Erhöhung des Empfangssignals bei schwacher Hintergrundbeleuchtung die folgenden Vorteile:
das Auge hat zwischen 400 - 1000 nm volle Transparenz und bildet ein vergleichbares Bild zwischen 700 - 1000 nm wie zwischen 400 - 700 nm ab.
der Reflexionsgrad der Netzhaut zwischen 700 - 1000 nm beträgt R = 10 - 20% gegenüber R = 3 - 5% zwischen 400 - 700 nm
es sind Photoempfänger mit hohem Quantenwirkungsgrad wie Photomultiplier und Silizium- Avalanchedioden über den gesamten Spektralbereich von 400 - 1000 nm verfügbar
Glühlampen, die zur Innenbeleuchtung von Gebäuden, bzw. im Freien zur Straßenbeleuchtung und bei Fahrzeugen verwendet werden, strahlen zwischen 700 -1000 nm 10 mal mehr Licht ab als zwischen 400 - 700 nm. das Refiexionsvermögen der Vegetation der Natur ist um einen Faktor 5-10 zwischen 700 - 1000 nm höher als zwischen 400 - 700 nm.
Wie diese Beispiele zeigen, ist bei schwacher Beleuchtung (Nachtsehen) eine nochmalige Erhöhung des Empfangssignals um einen Faktor 100 durch Erweiterung des Spektralbereiches möglich.
Die Erweiterung des spektralen Bereiches kann entweder in jedem Gerät fest installiert sein oder durch Wechseln von spektralen Filtern variabel gestaltet werden. Wird eine Farbdarstellung nicht gefordet, ist es sinnvoll, grünes Laserlicht für die Rückprojektion ins Auge, wegen der höchsten Empfindlichkeit und Konfrastwahrnehmung des Auges bei dieser Farbe, zu verwenden.
Zusätzliche Methoden zur Signalverbesserung, die hier eingesetzt werden können, sind die Integration mehrerer aufeinanderfolgender Bilder und die Bildkorrelation, z.B. Bilder der beiden Augen.
Insgesamt kann durch die Variation der zwei Parameter, der Verweilzeit des Scans in den Bildpixels und der Größe des Bildflecks, mit Hinzunahme des infraroten Bereiches und der Verwendung von Bildkorrelation, eine gesamte Dynamik der Empfangssignale über sieben Dekaden erfaßt werden.
Bei einer gesamten optischen Transmission des Empfangskanals von T = 0,2 (siehe Formel oben) umfaßt der Empfangbereich dieses dynamischen Aufhahmesystems Bestrahlungsstärken auf der Netzhaut zwischen 10" W/cm und 100 W/cm , was dem Bereich der typischen Innen- und Außenhelligkeit umfaßt.
Wegen der langsamen und schnellen Augenbewegungen ist es notwendig, das Scansystem so zu gestalten, daß es der Änderung der Sehachse durch die Brille ständig folgt, d.h. daß die Symmetrieachse der Bildabtastung, sowohl bei der Aufnahme, als auch bei der Projektion, mit der Sehachse identisch ist.
Die Erfindung sieht zur Lösung dieser Aufgabe vor, daß vor und nach der Abtastung des Netzhau treflexes bzw. der Bildprojektion ins Auge, eine Zentrierung des Kreisscans auf der Augenpupille durchgeführt wird. Dabei wird der größte Abtastwinkel des Kreisscans so gewählt, daß bei einer Ablage der Scansymmetrieachse von der Sehachse die Außenfläche des Augapfels, Sclera mit Regenbogenhaut und Pupillenöfrhung von dem Kreisscan erfaßt wird. Da diese Teile des Auges, die vom Außenlicht gut ausgeleuchtet sind, nicht scharf, sondern diffus in der Bildzwischenebene des Photodetektors abgebildet werden, liefert das Empfangssignal hier keine Bildinformation, sondern eine integrale Anzeige über das optische Rückstreuvermögen der Vorlage.
Wenn die Empfangssignale über zeitlich gleich lange Abschnitte, z.B. Quadranten, aus jedem Kreis miteinander verglichen werden, sind sie nur dann von gleicher Höhe, wenn die Achse des Kreisscans identisch ist mit der Augenachse (Sehachse). Signalunterschiede, wegen der unterschiedlichen Rückstreuung aus Sklera, Regenbogenhaut und Pupillenöffhung, sind dann ein Maß über die Achsenablage und ihre Richtung. Nach einer Normierung mit dem gesamten Empfangssignal über jeden Kreis können diese Ablagesignale zur Einstellung der Nullstellung eines nächsten Kreisscans (Bias) verwendet werden. Somit kann eine ursprüngliche Ablage der Achsen mit jedem Kreisscan vermindert werden bis sie beim Eintauchen des Kreisscans durch die Pupillenöffhung verschwindend gering wird (Pupillentracking). Fig. 1 zeigt schematisch den kozentrischen Scanvorgang bei justierten System, Fig. 2 stellt den Suchmode der Zentrierung des Scans durch die Augenpupille dar.
Die Erfindung sieht alternativ zur Verwendung des Umgebungslichtes vor, daß auch mit der aktiven Beleuchtung der Laserprojektion ins Auge ein Pupillentracking im Außenbezirken des Kreisscans, mit gleichzeitiger Signalauswertung im Aufhahmekanal wie oben beschrieben, durchgeführt wird.
Die Erfindung sieht außerdem vor, daß auch während der Laserbildprojektion das sowohl von der Umgebung als auch vom Laser zurückgestreute Licht aufgenommen und ausgewertet wird. Diese gleichzeitige Aufnahme des Netzhautreflexes von der Umgebung und der nachbearbeitenden Laserbildprojektion eröffnet die Möglichkeit, den Grad der Überlappung und die zeitliche Synchronisation beider Bilder ständig zu überprüfen, eventuelle Unterschiede als Bildinterferenzen (Moire-Muster) zu erkennen, um diese dann durch Korrektursignale nachträglich zu kompensieren.
Die Aufnahme und Projektionstechnik im Sinne der Erfindung kann entweder an einem Auge eines Betrachters oder an seinen beiden Augen gleichzeitig, unabhängig voneinander durchgeführt werden. Wegen des steroskopischen Sehens beider Augen wird in dem letzteren Fall eine dreidimensionale Bildaufhahme und Bildwiedergabe realisiert.
Es ist nicht ohne weiteres verständlich, daß die Aufnahme eines fehler- und verzeichungsfreien Reflexbildes der Umgebung von der Netzhaut über eine Brille, die weder in ihren optischen Eigenschaften individuell an jeden Betrachter angepaßt, noch vollständig stabil sitzend auf dem Kopf des Betrachters sein kann. Die Lösung hierzu im Sinne der Erfindung besteht erstens in der relativ geringen optischen Anforderungen an den seriellen konfokalen Punktscan gegenüber z.B. einer flächenhaften Abbildung aus dem Auge, zweitens in der vollständigen dynamischen Anpassung des optischen Strahlenganges des Scanners über die Brille in das Auge, die jedesmal die Eigenbewegungen des Auges und der Brille selbst berücksichtigt, drittens in der exakten Rückkehrung des Strahlenganges zwischen Aufnahme und Projektion und der kurzen Zeitdauer zwischen diesen Vorgängen. Zur Einstellung des Scan durch das Auge, auch bei den verschiedenen Augenbewegungen dienen zwei scannende Elemente und ein Korrekturspiegel der auch justierbar sein kann. Die Fig. 3 zeigt schematisch in Übersicht das ganze System. Die Netzhaut des Auges NH wird mit dem fokussierten Strahl abgetastet. Hier stellt AA den Augapfel und AP die Augenpupille dar. Die teildurchlässige Brille ist hier mit BG bezeichnet.
Die von der Umgebung durchgehenden Strahlen werden auf der Netzhaut fokussiert, gleichzeitig wird die Netzhaut punktuell abgetastet, wobei der Abtasstrahl in Transmission durch die Brille immer gegen eine Strahlungssenke schaut. Mit den zweiachsigen Abtastelementen HSS und VSS wird der Kreisscan durchgeführt. Mit dem Hilfsspiegel HS, der aktiv einstellbar sein kann, wird die Einfallsrichtung und Position des Strahles auf der Innenfläche der Brille BG eingestellt. Mit dem Strahlumschalter SUS kann entweder mit einer zentralen Bohrung der beleuchtende Laserstrahl durchgelassen werden und der Empfangsstrahl, der meist wesentlich größeren Durchmesser hat in die Empfangseinheit reflektiert werden in getrennte Richtungen geleitet werden, oder es kann ein aktiv umschaltendes Spiegelelement verwendet werden das zwischen Empfang und Senden umschaltet.
Die Empfangseinheit kann z.B. aus drei getrennten Empfangskanälen für die Grundfarben Rot, Grün und Blau oder andere Wellenlängenbereiche z.B. im nahen Infrarotbereich bestehen. Der Strahlengang aller Spektralkanäle wird mit Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. Zur Einstellung der Fleckgröße des Abtaststrahles auf der Netzhaut und zur eventuellen Feinkorrektur der optischen Achse dient eine aktiv justierbare Gesichtsfeldblende GFB.
Die Sendeeinheit kann z.B. aus drei Lasern mit den Grundfarben Rot LR, Grün LG und Blau LB geschaffen sein. Vor der Strahlvereinigung auf einer Achse mit dichroitischen Spiegeln DS werden die Einzelnen Strahlen entweder extern mit Bildmodulatoren MR, MG und MB moduliert oder einfacher direkt über den Anregungsstrom der Laseremission. Die Größe und Lage des Laserabtastflecks auf der Netzhaut wird mit einer aktiv steuerbaren Blende LAA die im Zwischenfokus zweier Linsen im Strahlengang eingestellt wird. Als Empfänger für die Abtastung der Netzhautreflexbildes sind z.B. Photomultiplier geeignet, die wechselweise bei sehr schwachen optischen Signalen in einen Photon-counting Betrieb und bei starken Signalen in einen Sfrommeßbetrieb automatisch Umschalten. Auch ist die Verwendung von Avalanche Photodioden als Empfänger möglich.
Als Lichtquellen zur Rückprojektion der Bilder ins Auge sind Halbleiterlaser bzw. miniaturisierte Festkörperlaser vorgesehen mit einer niedriger Dauerstrichleistung (<300 μW), die keine Gefährdung des Auges verursachen können. Mit der Verwendung von Halbleiterlasern könnte die Bildmodulation direkt über ihre Stromversorgung durchgeführt werden. Damit aller Farben erzeugt werden empfiehlt sich die Verwendung von drei Lasern mit den Grundfarben rot, grün und blau. Wie das bekannte Farbdreieck des menschlichen Gesichtsinnes zeigt können alle anderen Farben sowie die Unfarben grau und weiß durch Farbsummation von monochromatischen Laserlinien dieser Farben gebildet werden. Die Erfindung beinhaltet auch die Möglichkeit der Verwendung von einzelnen Farben als monochromatische Lösung vor.
Die Erfindung sieht wie in Fig. 4 dargestellt einen Signal-Prozessor SP vor, der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle Funktionen der Vorrichtung sowie die von Scannern VSS/HSS, des Hilfsspiegels HS und Laserfleckeinstellung LAA und Größe der Gesichtsfeldblende GFB synchron koordiniert. Der Bildverarbeitungscomputer BVC übernimmt dann die vom Auge wahrgenommenen Bild oder Bilder anderer technischer Sensoren, die über einen externenen Anschluß EA dem Computer zugeführt werden und bearbeitet sie nach einer vorgegebenen Software SW, bevor sie mit Hilfe des Signalprozessors auf die Laserstrahlen als Bildsignal aufmoduliert werden. In Fig. 4 sind der Fluß der optischen und elektrischen sowie der Softwaresignale getrennt dargestellt. Die komplette Lasereinheit wird mit DE bezeichnet, ME als Modulationseinheit und PME die komplette Empfangseinheit und SUS als der Strahlumschalter zwischen der Sende- und Empfangseinheit.
Die Laser-Projektion ermöglicht außer der Verarbeitung des aktuellen vom Computer verarbeitetes Bild in das Auge zu projizieren und mit dem Originalbild zu verschmelzen, auch Fremdbilder, die dem Computer von extern zugeleitet werden, dem Außenbild im Auge synchron zu überlagern. Wenn die Zeitspanne zwischen Bildaufhahme- und Projektion im Vergleich zu den schnellen Augebewegungen entsprechend kurz ist, wird das Auge, wie bei der Betrachtung eines Fernsehschirmes, keine Bildunterbrechung mehr wahrnehmen.
Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaßt auch die perspektivischen Unterschiede beider Bilder. Da diese bei der Laserzurückprojektion in beiden Augen erhalten bleiben, ist eine Wiederherstellung des räumlichen Sehens gewährleistet.
Die in der Erfindung verwendeten Bauelemente sind heute weitgehend miniaturisiert und kostengünstig erhältlich. Zum Scannen der Kreisfiguren können miniaturisierte Kippspiegel verwendet werden. Als zweite Möglichkeit zur Herstellung der Kreisfiguren bietet sich an die Verwendung von Keilplatten-Scannern, die für einen Strahlengang in Transmission ausgelegt sind. Der durchgehende Strahl wird durch jede der Platten um einen festen Winkel gebrochen, der gesamte Ablenkwinkel kann dann durch eine feste Drehung der Keilplatten gegeinander kontinuierlich bis Null eingestellt werden. Bei einer gemeinsamen Drehung der Keilplatten mit einer festen Drehfrequenz beschreibt der abgelenkte Strahl dann eine Kreisspur. Als dritte Möglichkeit bietet sich die Verwendung von akusto-optischen Ablenkeinheit, die den Vorteil der geringen Trägheit und der schnellen Ablenkung bieten. Der variabel einstellbare Hilfsspiegel HS wird vorzugsweise als einer mit Mikroaktorik in zwei Achsen einstellbarer Spiegel sein.
Für die Einstellung des Laserfleckgröße und des Empfangsgesichtsfeldes bieten sich vorzugsweise mikromechanische Aktoren wie z.B. in den weitverbreiteten Laser-Printer und CD-Plattenspielern auch verwendet werden.
Die Strahlumlenkeinheit und Scanner können ein einem einfachen Brillengestell untergebracht werden. Mit Hilfe von Glasfaserleitung können Laserprojektionseinheit in einem kleinen Gehäuse z.B. in der Größe eines Taschenbuches mit Betterieversorgung untergebracht werden. Der Datenaustausch mit einem externen fest installierten Bildverabeitungsrechner kann entweder übere Radiowellen oder Infrarotstrahle erfolgen. Alle Elemente der Vorrichtung der Erfindung könnten nach dem heutigen Stand der Technik somit von einem Menschen mühelos getragen werden und der drahtlose Bilddatenaustausch mit dem externen Rechner würde seine unbeschränkte Bewegungsfreiheit ermöglichen.
Wie in der früheren Anmeldung der Erfinderin Nr. 19631414.3 kann dieser Art einer opto-elektroni sehen Brille in den verschiedensten Anwendung eine Verwendung finden:
Aufnahme von Bildern der Außenwelt, ihre Verarbeitung, Zurückprojektion und Verschmelzung mit dem Originalbild im Auge wie z.B. zur Sichtverbesserung beim Fahren eines Fahrzeug oder als Sehhilfe von Sehbehinderte
Überlagerung von Bildern anderer Aufhahmesysteme, z.B. in von der gleichen Szene in anderen Spektralbereichen auf das direkte Bild in gleichen Anwendungen wie heute oder zukünftig das Helmet-mounted-display verwendet wird
Überlagerung von virtuellen Bildern, die alleine vom Computer hergestellt werden, in gleichen oder zukünftigen Anwendungen der "virtual-reality" oder "Cyberspace" Bildprojektion.

Claims

P a t e n t a n s p r ü c h e
1. Bildverbesserungssystem, bei dem das Reflexbild in Inneren des Auges abgetastet wird und nach Modifikation auf dem gleichen Weg in das Auge zurückprojiziert wird nach Anmeldung Nr. 19631414.3, gekennzeichnet durch Verwendung eines Ellipsenscans.
2. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Ermittlung der Außenränder der Pupille zur Justierung und Zentrierung des Scannersystems ohne weitere externe Sensoren verwendet wird.
3. Bildverbesserungssystem nach Anspruch 1 , dadurch gekennzeichnet, daß das aufgenommene Bild mit dem zurückprojizierten Bild zeitlich und örtlich synchronisiert wird.
4. Bildverbesserungssystem nach Anspruch 2, dadurch gekennzeichnet, daß die Scandauer dynamisch an die Anforderung von Auflösung, Erfaßzeitbedarf und Belichtungszeit angepaßt wird.
5. Bildverbesserungssystem nach Anspruch 4, dadurch gekennzeichnet, daß die Größe des Abtastfleckens dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.
6. Bildverbesserungssystem nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, daß der Spurabstand der Scanspuren dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.
7. Bildverbesserungssystem nach Ansprüchen 1 bis 6, dadurch gekennzeichnet, daß die Größe des abgetasteten Bereichs entsprechend der Anforderungen des Anwendungsfalles angepaßt wird.
8. Bildverbes3erungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystem aufgehellt wird und dann zurückprojiziert wird.
9. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch eine Projektion des Bildes bei einer anderen Wellenlänge als es aufgenommen wurde und dadurch in einen anderen Lichtwellenlängenbereich transformiert wird.
10. Bildverbesserungssystem nach Anspruch 1 und 9, dadurch gekennzeichnet, daß der Wellenbereich des aufgenommenen Bildes außerhalb des Wahrnehmungsbereiches des Auges ausgewertet wird und in den sichtbaren Bereich transformiert wird.
11. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild so stark aufgehellt wird, daß die ursprünglich vom Auge erkennbare Schwarz- Weiß (Stäbchensehen)- Information in eine Farbinformation transformiert wird (Zäpfchensehen).
12. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch Berechnen und Modulieren der Projektion über einen geeigneten Algorithmus (Fouriertransformation) so geschärft wird, daß Sehfehler des Auges ausgeglichen werden.
13. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß für die Justierung des Scannersystems ein externer Sensor zur Ermittlung der Pupillenposition verwendet wird.
14. Bildverbesserungssystem nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß das aufgenommene Bild hinsichtlich des Bildinhaltes ausgewertet wird um externe Reaktionen und Steuerfunktionen zu aktivieren.
15. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Bildinhalte beider Augen verglichen werden.
16. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Position der Pupillen beider Augen verglichen wird.
17. Bildverbesserungssystem nach Anspruch 15, dadurch gekennzeichnet, daß der Bildinhalt der Forea Centralis beider Augen verglichen wird.
18. Bildverbesserungssystem nach Anspruch 16 und 17, dadurch gekennzeichnet, daß die Position der Pupillen und Bildinhalte der Forea Centralis beider Augen zur Ermittlung der Sehachse verwendet werden für Triangulation (Entfernungsbestimmung)
19. Bildverbesserungssystem nach Anspruch 1 bis 18, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Helligkeit der Umgebung zu ermitteln.
20. Bildverbesserungssystem nach Anspruch 19, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Farbtemperatur des Lichtes zu ermitteln.
21. Bildverbesserungssystem nach Anspruch 1 und 2, dadurch gekennzeichnet, daß das System zur Ermittlung der Pupillengröße verwendet wird.
22. Bildverbesserungssystem nach Anspruch 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystems so aufgehellt wird, daß die physiologische Scheinempfindlichkeit in einen anderen weniger empfindlichen Bereich verschoben wird.
23. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von außen nach innen läuft.
24. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von innen nach außen läuft.
25. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Zusammenfallen der beiden Brennpunkte zu einem Kreisscan verändert wird.
PCT/DE1998/001840 1997-07-07 1998-07-03 Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes WO1999003013A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP98942492A EP1000376A1 (de) 1997-07-07 1998-07-03 Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
US09/462,440 US6523955B1 (en) 1997-07-07 1998-07-03 Method for improving optic perceptive faculty by modifying the retinal image
JP50798799A JP2002510407A (ja) 1997-07-07 1998-07-03 網膜画像の修正により視覚的感知能力を高める方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19728890.1 1997-07-07
DE1997128890 DE19728890A1 (de) 1997-07-07 1997-07-07 Verfahren zur Verbesserung des optischen Wahrnehmungsvermögens durch Modifikation des Netzhautbildes

Publications (1)

Publication Number Publication Date
WO1999003013A1 true WO1999003013A1 (de) 1999-01-21

Family

ID=7834849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1998/001840 WO1999003013A1 (de) 1997-07-07 1998-07-03 Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes

Country Status (4)

Country Link
EP (1) EP1000376A1 (de)
JP (1) JP2002510407A (de)
DE (1) DE19728890A1 (de)
WO (1) WO1999003013A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1056611A1 (de) * 1998-02-20 2000-12-06 DaimlerChrysler AG Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
DE10047237A1 (de) 2000-09-23 2002-04-11 Physoptics Opto Electronic Gmb System zur Aufnahme des Netzhautreflexbildes
AU2001210227A1 (en) * 2000-10-07 2002-04-22 Physoptics Opto-Electronic Gmbh Method and device for transferring optical information onto the human retina
WO2002031578A1 (de) * 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Informationssystem
DE50015820D1 (de) * 2000-10-07 2010-01-21 Metaio Gmbh Informationssystem
WO2002031581A1 (de) 2000-10-07 2002-04-18 Physoptics Opto-Electronic Gmbh Vorrichtung und verfahren zur bestimmung der orientierung eines auges
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
JP5489539B2 (ja) * 2009-06-05 2014-05-14 キヤノン株式会社 撮像装置、撮像装置の制御方法、octによる断層画像の形成方法
IL252582A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registration between the outside world and a virtual image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992003187A1 (en) * 1990-08-22 1992-03-05 Phoenix Laser Systems, Inc. System for scanning a surgical laser beam
US5467150A (en) * 1993-05-26 1995-11-14 Nikon Corporation Apparatus for measuring a cornea shape
WO1996036036A1 (en) * 1995-05-09 1996-11-14 University Of Washington Virtual retinal display with fiber optic point source
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US5543866A (en) * 1994-01-07 1996-08-06 Jozef F. Van de Velde Scanning laser ophthalmoscope for binocular imaging and functional testing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992003187A1 (en) * 1990-08-22 1992-03-05 Phoenix Laser Systems, Inc. System for scanning a surgical laser beam
US5467150A (en) * 1993-05-26 1995-11-14 Nikon Corporation Apparatus for measuring a cornea shape
WO1996036036A1 (en) * 1995-05-09 1996-11-14 University Of Washington Virtual retinal display with fiber optic point source
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US8016421B2 (en) 2000-10-07 2011-09-13 Metaio Gmbh Information system and method for providing information using a holographic element
US8944602B2 (en) 2000-10-07 2015-02-03 Metaio Gmbh Information system and method for providing information using a holographic element
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element
US10188288B2 (en) 2000-10-07 2019-01-29 Apple Inc. Information system and method for providing information using a holographic element

Also Published As

Publication number Publication date
JP2002510407A (ja) 2002-04-02
EP1000376A1 (de) 2000-05-17
DE19728890A1 (de) 1999-02-04

Similar Documents

Publication Publication Date Title
US6523955B1 (en) Method for improving optic perceptive faculty by modifying the retinal image
DE10047237A1 (de) System zur Aufnahme des Netzhautreflexbildes
WO1998005992A2 (de) Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge
EP1405122B1 (de) Vorrichtung zur bestimmung der orientierung eines auges
DE68927275T2 (de) Bildaufnahmegerät
US9971153B2 (en) Method and apparatus for displaying video data
DE69737700T2 (de) Bildkombinierungsvorrichtung für brillen und gesichtsmasken
DE69433556T2 (de) Bildanzeigevorrichtung
DE102021132465B4 (de) MEMS-Spiegelbasierte erweiterte Realitätsprojektion mit Eye-Tracking
EP4238621A2 (de) Elektronische brille
JP2001512994A (ja) 広い視野をレーザ走査する検眼鏡
DE102010045364A1 (de) Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen
DE102017211932A1 (de) Projektionsvorrichtung für eine Datenbrille, Datenbrille sowie Verfahren zum Betreiben einer Projektionsvorrichtung
DE102009015598A1 (de) Verfahren und Vorrichtung zum Auffinden von funktionstragenden Gewebearealen in einem Gewebebereich
DE102022101458A1 (de) Mehrebenenprojektion mit laserstrahlabtastung in erweiterterealität-displays
US20210035478A1 (en) Image projection apparatus, image projection method, image display light output control method
DE102017107178A1 (de) Vorrichtung zum Erzeugen von reflexkorrigierten Abbildungen, Mikroskop und Reflexkorrekturverfahren zum Korrigieren von digitalen mikroskopischen Abbildungen
WO1999003013A1 (de) Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
WO1999027843A1 (en) Stereo scanning laser ophthalmoscope
WO2002097511A1 (de) Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
DE19731303B4 (de) Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei Kopf- und Augenbewegungen
EP1840627B1 (de) Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
EP1056611A1 (de) Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen
DE102018110642B4 (de) Mikroskopieverfahren zur Abbildung eines Objekts sowie Mikroskop
EP1405121A1 (de) Informationssystem mit erfassung des bildes der aussenwelt auf der netzhaut

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1998942492

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09462440

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1998942492

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 1998942492

Country of ref document: EP