DE69833998T2

DE69833998T2 - Bilderzeugungsverfahren und -vorrichtung

Info

Publication number: DE69833998T2
Application number: DE69833998T
Authority: DE
Inventors: Peter Seitz; Graham K. Lang; Nicolas Blanc
Original assignee: Centre Suisse dElectronique et Microtechnique SA CSEM
Current assignee: Photonfocus AG
Priority date: 1998-11-18
Filing date: 1998-11-18
Publication date: 2007-04-05
Anticipated expiration: 2018-11-19
Also published as: US6927793B1; EP1003329A1; EP1003329B1; DE69833998D1

Description

Die Erfindung bezieht sich auf ein Verfahren zur Erzeugung eines Bildes und auf einen Bildsensor mit einem wirksamen Bereich, der eine Vielzahl von Bildelementen aufweist. Es ermöglicht einen breiten dynamischen Bereich, vermeidet jedoch die Notwendigkeit, ganze Bilder speichern zu müssen. Es verringert die zeitliche Verzerrung auf ein Minimum und eliminiert die räumliche Verzerrung.
Es ist möglich, Bildsensoren mittels Halbleitern zu realisieren, indem deren Fähigkeit ausgenützt wird, örtlich einfallende Lichtenergie in eine proportionale Menge elektrischer Ladung umzuwandeln. Spezifischer ausgedrückt, wenn ein Bildelement während der Zeit T der örtlichen Lichtleistung P_L ausgesetzt wird, wird ein Ladungssignal Q gemäss der Gleichung Q = PLγT (1)erzeugt, wobei γ die Umwandlungseffizienz von Photonen zu elektrischer Ladung bezeichnet, welche stark vom Spektrum der Wellenlängen des ankommenden Lichtes abhängt. Es ist möglich, diese Ladung Q, die häufig als Photoladung bezeichnet wird, in einer zweidimensionalen Matrixanordnung von Ladungsspeicher-Vorrichtungen zu speichern, wie etwa eine umgekehrt vorgespannte Diode (wie bei Bildsensoren auf der Grundlage von Photodioden) oder wie etwa eine vorgeladene Metalloxid-Halbleiterkapazitanz (wie bei ladungsgekoppelten Vorrichtungen, CCDs).
Infolge der beschränkten Speicherkapazität von diesen Speichervorrichtungen ist das Verhältnis der maximal speicherbaren Photoladung zum Detektionsrauschen der Photoladung, welches als dynamischer Bereich bezeichnet wird, ebenfalls beschränkt. Bei typischen CCD- oder Photodioden-Bildsensoren hat der verfügbare dynamische Bereich die Grössenordnung von 1'000 : 1. Unglücklicherweise weisen natürliche Schauplätze (bei welchen die Lichtbedingungen nicht steuerbar sind) und Innenschauplätze mit stark variierender Beleuchtung einen dynamischen Bereich zwischen 100'000 : 1 und 1'000'000 : 1 auf.
Es ist möglich, den dynamischen Bereich eines Bildsensors zu vergrössern, indem man die in der Gleichung (1) gezeigte Abhängigkeit von der Belichtungszeit ausnützt. Die Patente US-5,144,442, US-5,168,532, US-5,309,243 und US-5,517,242 beschreiben Verfahren, welche auf der Erfassung von zwei oder mehr Bildern beruhen, wobei jedes eine individuelle Belichtungszeit hat. Mindestens ein vollständiges Bild muss mit diesen Verfahren gespeichert werden, vorzugsweise in digitaler Form durch die Verwendung eines Frame-Speichers. Dies führt zu einem komplizierten und kostenintensiven System. Darüber hinaus ist es nicht möglich, die zwei oder mehr Bilder mit verschiedenen Belichtungszeiten gleichzeitig aufzunehmen, aus diesem Grunde werden die gleichen bewegten Szenen nicht bei verschiedenen Belichtungsstufen dargestellt sondern zu unterschiedlichen Zeitpunkten. Infolgedessen weisen solche Verfahren eine unerwünschte zeitliche Verzerrung auf.
Es ist möglich, dieses Problem durch ein Verfahren zu überwinden, welches in US-5,483,365 und US-5,789,737 beschrieben wird. Der in US-5,483,365 verwendete Ansatz besteht darin, dass alternative Bildsensorreihen für unterschiedliche Belichtungszeiten verwendet werden. US-5,789,737 lehrt die Verwendung von mehreren Bildelementen (Bildpunkten, Pixels), von welchen jedes eine eigene Empfindlichkeit aufweist. In beiden Fällen ist es möglich, die Helligkeitsinformationen zeitlich gleichzeitig zu erfassen, nicht jedoch am identischen geometrischen Bildelement-Standort. Dies impliziert eine räumliche Untererhebung (engl. „undersampling") und Verzerrung, welche im Falle von so genannten Spitzenhelligkeiten, das heisst lokalisierten sehr hellen Bildelement-Werten besonders unerwünscht ist, welche üblicherweise durch spiegelartige Reflexionen an Objekten am Schauplatz verursacht werden.
Ist einmal eine Vielzahl von Bildern bei verschiedenen Belichtungszeiten aufgenommen worden, müssen sie verschmolzen oder vereinigt werden, um ein einziges Stück Bildpunktinformation mit einem breiten dynamischen Bereich zu bilden. Die Patente US-4,647,975, US-5,168,532 und US-5,671,013 lehren, dass die Informationen vom dazu geeignetsten Bild kopiert werden, gemäss einer Auswahlregel. Dieser Wert wird darauf mit einem geeigneten Faktor multipliziert, welcher für die jeweilige Belichtungszeit eine Korrektur bewirkt. Dieses Verfahren funktioniert gut nur im Falle von idealen Bildsensoren mit einem vollständig linearen Bildelementverhalten, unabhängig von der Beleuchtungsstärke und Belichtungszeit. Im Falle von praktisch verwendeten Bildsensoren trifft dies nicht zu, und die resultierende Reaktionskurve (Ausgabewert gegenüber Beleuchtungsstärke) weist Diskontinuitäten auf. Dies ist insbesondere störend, wenn die resultierenden Bilder weiter verarbeitet werden, was zu falschen Konturen und fehlerhaften Kontrastwerten führt. Eine Verbesserung wird durch US-5,517,242 offenbart, welches einen Algorithmus beansprucht, bei welchem jeder Ausgabewert bei jeder Bildelementstelle innerhalb eines bestimmten Helligkeitsbereiches als eine lineare Kombination der Werten bei zwei verschiedenen Belichtungszeiten berechnet wird, korrigiert mittels eines geeigneten Faktors, welcher die verschiedenen Belichtungszeiten kompensiert. Bei allen diesen Verfahren müssen entweder vollständige Bilder gespeichert werden, oder es ist in jedem Bildelement eine komplizierte und oberflächenintensive elektronische Schaltung erforderlich.
Es ist das Ziel der Erfindung, die oben aufgeführten Nachteile der Verfahren und Bildsensoren gemäss dem Stand der Technik zu überwinden. Insbesondere soll die Erfindung einen breiten dynamischen Bereich möglich machen, indessen jedoch die Notwendigkeit einer Speicherung von vollständigen Bildern zu vermeiden. Darüber hinaus soll sie die zeitliche und räumliche Verzerrung auf ein Minimum reduzieren. Dieses Problem wird gelöst durch die Erfindung, wie sie in den unabhängigen Ansprüchen definiert wird.
Die Erfindung beruht auf der örtlichen Erfassung von Bildelementinformationen für verschiedene Belichtungszeiten gemäss der Gleichung (1). Die Probleme der Notwendigkeit des Speicherns eines vollständigen Bildes und der zeitlichen und räumlichen Erhebung zu verschiedenen Zeitpunkten oder an verschiedenen Orten werden dadurch überwunden, dass ein Typ von Bildsensor verwendet wird, bei welchem es möglich ist, eine Untermenge von Bildelementen (beispielsweise ein einziges Bildelement oder eine Reihe von Bildelementen) einzeln zurückzusetzen und abzulesen. Eine bevorzugte Ausführungsform ist ein Aktiver-Pixel-Sensor-(APS)-Bildelement, welches gemäss mit Standard-CMOS-Technik fabrizierbar ist. Ein APS dieser Art wird beispielsweise beschrieben in E. R. Fossum, "Active Pixel Sensors: Are they Dinosaurs?", Proc. SPIE 1900 (1993) 2–14.
Das Verfahren gemäss der Erfindung zur Erzeugung eines Bildes verwendet einen Bildsensor mit einem wirksamen Bereich, welcher eine Vielzahl von Bildelementen enthält. Das Verfahren beinhaltet:

a) in n Abfrageläufen, welche auf einer ersten Untermenge von Bildelementen durchgeführt werden, wobei n eine ganze Zahl und n ≥ 2 ist, das Zurücksetzen der ersten Untermenge von Bildelementen, die Belichtung (der ersten Untermenge von Bildelementen (11) und das Auslesen des/der Ausgabewertes/-werte der ersten Untermenge von Bildelementen;
b) das Kombinieren besagter Ausgabewerte zu einem ersten kombinierten Ausgabewert);
c) die Wiederholung der Schritte a) und b) für mindestens eine zweite Untermengevon Bildelementen.

Um eine vollständige Bildinformation zu bekommen, werden die Schritte a) und b) vorzugsweise wiederholt bis jedes Bildelement mindestens einmal ausgelesen worden ist.
Es versteht sich, dass die Untermenge weniger Bildelemente enthält als der ganze Bildsensor. Es ist beispielsweise möglich, dass die Untermenge eine Reihe, eine Kolonne oder ein einzelnes Bildelement des Bildsensors ist. Die Untermengen werden vorzugsweise definiert bevor der Schritt a) des Verfahrens durchgeführt wird, indem der wirksame Bereich des Bildsensors aufgeteilt wird. Es ist möglich, dass die Verarbeitung einer Untermenge von Bildelementen die Verarbeitung der nachfolgenden Untermenge von Bildelementen zeitlich überlappt.
Bei einer bevorzugten Ausführungsform der Erfindung ist n = 2 für alle Untermengen von Bildelementen, das heisst, jede Untermenge wird zweimal belichtet und zwar mit einer längeren und einer kürzeren Belichtungszeit. Ein erster Rücksetzbefehl wird einem Bildelement oder allen Bildelementen in einer Reihe erteilt. Nach einer ersten langen Belichtungszeit T_long wird der Ausgabewert/werden die Ausgabewerte P_long des Bildelements oder aller Bildelemente in dieser Reihe ausgelesen und sofort in analoger oder digitaler Form gespeichert. Unmittelbar danach wird das Bildelement oder die Reihe von Bildelementen zurückgesetzt und während einer zweiten kurzen Belichtungszeit T_short belichtet. Der Ausgabewert /die Ausgabewerte P_short des Bildelementen oder der Reihe von Bildelementen wird/werden gelesen. Diese Informationen werden wiederum in analoger oder digitaler Form gespeichert oder es ist möglich, dass diese sofort zusammen mit den vorgängig gespeicherten Bildelement- oder Bildelementreihe-Ausgabewerten verarbeitet werden, dies gemäss der unten dargelegten Vorgehensweise. In Abhängigkeit vom gewünschten Wert von T_long ist es möglich, das Bildelement oder die Bildelementreihe sofort für einen Maximalwert der Belichtungszeit zurückzusetzen oder es/sie zu einem späteren Zeitpunkt zurückzusetzen. Nachdem dieses Bildelement oder diese Bildelementreihe zweimal zurückgesetzt und gelesen worden ist, wird das nächste Bildelement oder die nächste Bildelementreihe auf die gleiche Art und Weise abgefragt.
Beim Verfahren gemäss der Erfindung ist das zum Zurücksetzen und Abfragen der Bildelementreihenfolge in einem Bildsensor verwendete Timing wichtig. Das Verhältnis t = T_long/T_short wird so gewählt, dass der dynamische Bereich des Bildsensors wesentlich vergrössert wird, wobei jedoch eine Überlappung zwischen den Bildern sichergestellt wird. So ist es, zum Beispiel, möglich, den dynamischen Bereich eines Bildsensors mittels des Verfahrens gemäss der Erfindung von 70 dB auf 110 dB durch Verwendung eines Verhältnisses von t = 100 zu vergrössern. Während der langen Integrationszeit ist es möglich, viele Bildelemente oder Bildelementreihen ein erstes Mal abzufragen und zurückzusetzen, während einem zweiten (viel kürzeren) Zeitintervall zu belichten, abzufragen und ein zweites Mal zurückzusetzen. Diese Operationen werden vorzugsweise während der langen Abfragezeit von einem Bildelement oder von einer Bildelementreihe an allen anderen Bildelementen oder Bildelementreihen durchgeführt, sodass das Verhältnis t = T_long/T_short gleich der gesamten Anzahl von Bildelementen oder Bildelementreihen des Bildsensors ist. Im Vergleich mit dem gegenwärtigen Stand der Technik hat dies drei Vorteile. Erstens, zu jedem Zeitpunkt müssen maximal zwei Bildelementreihen gleichzeitig gespeichert werden, und es ist vollkommen unnötig, ganze Bilder vor der Verarbeitung und vor dem Kombinieren der Daten zu erfassen und zu speichern. Zweitens, die kurze Belichtungszeit erfolgt unmittelbar nach der langen, welches effektiv eine quasi unmittelbare Belichtung sicherstellt. Drittens, der gleiche Bildelementstandort wird für die Erfassung der Bilddaten für die verschiedenen Belichtungszeiten verwendet, wodurch es nicht möglich ist, dass eine räumliche Verzerrung stattfindet.
Während der ersten langen Belichtungszeit werden dunkle Objekte detektiert, während sehr helle Objekte nicht detektiert werden aufgrund der Sättigung der entsprechenden Bildelemente; während der zweiten kurzen Belichtungszeit werden helle Objekte detektiert, während sehr dunkle Objekte nicht detektiert werden aufgrund eines zu schwachen Signals. Gemäss der Erfindung werden die Ausgabesignale beider Belichtungen auf eine geeignete Weise kombiniert, um dadurch den dynamischen Bereich des Bildsensors zu vergrössern. Wegen Unvollkommenheiten bei der praktischen Umsetzung des oben beschriebenen Verfahrens und der oben beschriebenen Vorrichtung stehen die beiden für die beiden Belichtungszeiten gemessenen Bildelement-Ausgabewerte P_long und P_short nicht idealerweise durch das Verhältnis t = T_long/T_short miteinander in Beziehung, das heisst, P_long wird nahe bei, jedoch nicht identisch zu, tP_short sein. Aus diesem Grund wird ein Algorithmus benötigt, welcher die beiden Werte auf eine Art und Weise kombiniert, die nicht zu Artefakten bei den nachfolgenden Bildverarbeitungs- und Bildinterpretationsverfahren führt. Aus diesem Grunde ist es wichtig, dass ein Verfahren gefunden wird, welches einen gleichförmigen, weichen Übergang von mit langen Belichtungszeiten ermittelten Werten zu mit kurzen Belichtungszeiten ermittelten Werten sicherstellt.
Die Erfindung umfasst das folgende Verfahren zum Erreichen dieses Zieles. Für jedes Bildelement oder für jede Bildelementreihe werden die beiden Bildelementausgabewerte P_long und P_short durch die Verwendung einer Vereinigungsfunktion f(x₁,x₂) zu einem einzigen Wert P_out verarbeitet: Pout = f(Plong, t·Pshort)
Die Vereinigungsfunktion f(x₁,x₂) ist vorzugsweise wahrhaft monoton, kontinuierlich und kontinuierlich differenzierbar in beiden unabhängigen Variablen x₁ und x₂. Sie sollte die folgenden Eigenschaften aufweisen:

(i) f(x₁,x₂) = x₁ für x₁ ≤ x_low
(ii) f(x₁,x₂) = x₂ für x₁ ≥ x_up, wo 0 ≤ x_low < x_up
(iii) f(x₁,x₂) steigt wahrhaft monoton in x₁ und x₂ an für x_low < x₁ < x_up

Mit anderen Worten, die Vereinigungsfunktion f(x₁,x₂) gehorcht vorzugsweise die folgenden Regeln:

(i) Vorzug wird dem Ausgabewert x₁ gegeben, welcher von der langen Belichtung erhalten worden ist, wenn die Ausgabewerte x₁,x₂ oder eine geeignete Kombination der Ausgabewerte x₁,x₂, beispielsweise ihr Durchschnitt (x₁ + x₂)/2, unter einem gegebenen unteren Grenzwert x_low liegen;
(ii) Vorzug wird dem Ausgabewert x₂ gegeben, welcher von der kürzeren Belichtung erhalten worden ist, wenn die Ausgabewerte x₁,x₂ oder eine geeignete Kombination der Ausgabewerte x₁,x₂, beispielsweise ihr Durchschnitt (x₁ + x₂)/2, über einem gegebenen oberen Grenzwert x_up liegen;
(iii) Die Vereinigungsfunktion f(x₁,x₂) steigt in den Ausgabewerten x₁,x₂ wahrhaft monoton an, wenn die Ausgabewerte x₁,x₂ zwischen dem unteren Grenzwert x_low und dem oberen Grenzwert x_up liegen.

Die Parameter x_low und x_up werden gemäss den folgenden Kriterien gewählt:

• Die untere Grenze x_low ist durch die minimale Beleuchtung gegeben, welche für die kürzere Belichtung benötigt wird. Bei einer schwächeren Beleuchtung entspricht die Sensorausgabe im Wesentlichen dem Rauschen und kann nicht interpretiert werden.
• Die obere Grenze x_up entspricht dem Ausgangswert, welcher für die maximal zulässige Lichtintensität für die lange Belichtung berechnet worden ist. Bei einer stärkeren Beleuchtung zeigt der Sensor zuerst ein nicht-lineares Ansprechen und wird schliesslich gesättigt sein.

Die Parameter x_up, x_low weisen entweder voreingestellte Werte auf oder können über die Zeit variieren, z.B., sie werden aufgrund früherer Ausgabesignale bestimmt und gleichen sich so der eigentlichen Beleuchtung des Bildsensors an.
Ein bevorzugtes Beispiel einer Vereinigungsfunktion f(x₁,x₂) für den Bereich x_low < x₁ < x_up ist die folgende: f(x1,x2) = [cx1 2 + (1 – c)x2 2]½ mit c = (x1 – xup)/(xlow – xup).
Die Vereinigungsfunktion weist die folgenden wünschenswerten Eigenschaften auf: Sie gibt dem Wert x₁ eine erhöhte Präferenz, wenn x₁ nahe bei x_low liegt, und sie gibt dem Wert x₂ eine erhöhte Präferenz, wenn x₁ nahe bei x_up liegt. Sie ist wahrhaft monoton, kontinuierlich und in x₁ und x₂ kontinuierlich differenzierbar, hemmt Streifenbildung und diskontinuierliche Sprünge bei nachfolgenden Algorithmen, welche die erste räumliche Ableitung der örtlichen Helligkeitswerte berechnen und verwenden. Darüber hinaus ist sie in x₁ und x₂ symmetrisch.
Die obigen Überlegungen für ein Beispiel mit zwei Abfrageläufen, das heisst, n = 2, können für den Fall verallgemeinert werden, bei dem n ≥ 2 ist. Dann wird eine Vereinigungsfunktion f(x₁, ....., x_n) verwendet, um die n Ausgangswerte P₁, ..., P_n zu einem einzigen Wert P_out gemäss der folgenden Formel zu kombinieren: Pout = f(P1, t2·P2, ..., tn·Pn)wobei t₂, ...., t_n geeignete Skalierungsfaktoren sind.
Es ist möglich, die Vereinigungsfunktion entweder in einer digitalen Mehrzweck-Recheneinheit, einer besonders dafür bestimmten digitalen oder analogen Recheneinheit, die vorzugsweise auf dem gleichen Chip wie der Sensor angeordnet ist, auszuwerten, oder die Vereinigungsfunktion mittels einer Nachschlagtabelle zu realisieren, dies entweder teilweise oder vollständig.
Der Bildsensor gemäss der Erfindung weist einen wirksamen Bereich auf, welcher eine Vielzahl von Bildelementen umfasst, wobei mindestens zwei Untermengen von Bildelementen einzeln abgefragt werden können, das heisst es ist möglich, diese einzeln zurückzusetzen und auszulesen. Der Bildsensor weist des weiteren Mittel für die individuelle Abfrage von Untermengen von Bildelementen auf, Mittel für die Kombination der Ausgabewerte von diesen Untermengen zu kombinierten Ausgangswerten, sowie Mittel für die elektrische Ausgabe dieser kombinierten Ausgabewerte.
Im Folgenden werden die Erfindung und eine bevorzugte Ausführungsform von dieser mit Bezugnahme auf die Zeichnungen genauer beschrieben, wobei:
1 den Ausgabewert eines Bildelements im Verfahren gemäss der Erfindung zeigt;
2 die Architektur eines Bildsensors zeigt, welcher für das Verfahren gemäss der Erfindung geeignet ist;
3 ein Ablaufdiagramm des Verfahrens gemäss der Erfindung zeigt; und
4 eine Ausgabecharakteristik eines Mehrfachbelichtungs-Bildsensors gemäss der Erfindung zeigt.
1 zeigt schematisch den Ausgang P eines gegebenen Bildelements in Funktion der Zeit T beim Verfahren gemäss der Erfindung. Die Figur illustriert ein Beispiel, bei welchem zwei Belichtungen, eine erste Belichtung 31 mit einer langen Belichtungszeit T_long und eine zweite Belichtung 34 mit einer kurzen Belichtungszeit T_short an jeder Untermenge von Bildelementen durchgeführt werden. Nach der ersten Belichtung 31 wird der Bildelementausgabewert ausgelesen 32 und ein erstes Mal zurückgesetzt 33. Ein zweites Auzsesen 35 und, wahlweise, ein zweites Zurücksetzen 36 werden im Anschluss an die zweite Belichtung 34 durchgeführt. Daraufhin ist das Bildelement für einen weiteren Abfragezyklus bereit. Es versteht sich, dass andere Varianten des Verfahrens möglich sind, bei welchen, zum Beispiel die erste Belichtungszeit die kürzere ist und die zweite die längere, oder bei welchen mehr als zwei Belichtungen während eines Abfragezyklus' durchgeführt werden.
2 zeigt ein Schema der Architektur eines Bildsensors, welcher dazu geeignet ist, das Verfahren gemäss der Erfindung durchzuführen. In dieser beispielhaften Ausführungsform weist der Bildsensor eine wirksame Oberfläche 1 auf, bestehend aus einer Matrix von 256 × 256 Bildelementen 10, 10', ... angeordnet in Reihen 11, 11', .... und Spalten 12, 12', .... . Ein Reihen-Adressdekodierer 2 und ein Rücksetzungs-Adressdekodierer 3 stehen für die Reihen 11, 11', .... zur Verfügung. Der Rücksetzungs-Adressdekodierer hat die Funktion eines elektronischen Reihenverschlusses. Ein Spalten-Treiber 4 und ein Spalten-Adressdekodierer 5 stehen für die Spalten 12, 12', ... zur Verfügung. Die Bildsignale werden über einen Video-Ausgang 6 ausgegeben.
Mit Bezugnahme auf den Bildsensor von 2 zeigt die 3 ein Ablaufdiagramm einer bevorzugten Ausführungsform des Verfahrens gemäss dem gegenwärtigen Stand der Technik. Eine Lesesequenz für ein Gesamtbild mit zwei Belichtungen (siehe 1) ist dargestellt. Bei dieser Ausführungsform sind die Untermengen von Bildelementen die 256 Reihen 11, 11' .... des Bildsensors, jede Untermenge besteht daher aus 256 Bildelementen 10, 10', .... . Die erste abzufragende Untermenge ist beispielsweise die Reihe Nr. 255. Ein erster Rücksetzungsbefehl 21 wird an alle Bildelemente in der Reihe Nr. 255 erteilt. Nach einer ersten, langen Belichtungszeit 22 werden die Ausgabewerte P_long ^(255,255) bis P_long ^(255,0) von allen 256 Bildelementen in dieser Reine Nr. 255 ausgelesen 23 und sofort in analoger oder digitaler Form gespeichert. Unmittelbar danach wird die Reihe Nr. 255 zurückgesetzt 25 und während einer zweiten, kurzen Belichtungszeit 26 belichtet. Die Ausgangswerte P_short ^(255,255) bis P_short ^(255,0) von allen 256 Bildelementen werden ausgelesen 27. Diese Informationen werden wiederum in analoger oder digitaler Form gespeichert, oder es ist möglich, diese zusammen mit den vorgängig gespeicherten Ausgabewerten P_long ^(255,255) bis P_long ^(255,0) sofort zu verarbeiten. Nachdem die Reihe Nr. 255 zweimal zurückgesetzt und gelesen worden ist, wird die nächste Reihe Nummer 254 auf die gleiche Art und Weise abgefragt; die entsprechenden Elemente in 3 sind mit den gleichen Referenznummern wie bei der Reihe Nr. 255 und zusätzlichen Apostrophen benannt, beispielsweise steht die Referenznummer 21' für einen ersten Zurücksetzungsbefehl an alle Bildelemente in der Reihe Nr. 254. Diese Schritte werden für jede Reihe durchgeführt, abschliessend mit der Reihe Nr. 0. Darauf ist jedes Bildelement einmal ausgelesen worden, in zwei Abfrageläufen, und ein erstes vollständiges Bild kann aus den verarbeiteten Ausgabewerten P _out ⁽²⁵⁵⁾ bis P _out ⁽⁰⁾ aufgebaut werden 29. Dieses Vorgehen kann so viele Male wie gewünscht wiederholt werden.
4 zeigt schematisch eine Ausgabecharakteristik eines Mehrfachbelichtungs-Bildsensors gemäss der Erfindung, das heisst Ausgabewerte P als Funktionen der Lichtintensität I. Wiederum wird eine beispielhafte Ausführungsform mit zwei Belichtungen besprochen. Ein erster Graph 41 in 4 stellt die Ausgabe P_long für die lange Belichtung dar. Für kleine Intensitäten steigt P_long linear mit der Intensität I an; über einem oberen Grenzwert x_up flacht die Kurve infolge Sättigung ab. Ein zweiter Graph 42 in 4 stellt die Ausgabe P_short für die kurze Belichtung dar, und zwar multipliziert mit einem Skalierungsfaktor t, das heisst t·P_short. Unter einer unteren Grenze x_low ist das Signal zu schwach und daher nutzlos; bei höheren Intensitäten steigt t·P_short linear mit der Intensität I an. Ein dritter Graph 43 in 4 illustriert ein Beispiel eines kombinierten Ausgabewerts Pout = f(Plong, t·Pshort)
Die Vereinigungsfunktion f(x₁,x₂) weist die folgenden Eigenschaften auf:

Diese Vereinigungsfunktion gibt dem Wert x₁ eine erhöhte Präferenz, wenn x₁ sich nahe bei x_low befindet, und sie gibt dem Wert x₂ eine erhöhte Präferenz, wenn x₁ sich nahe bei x_up befindet. Aus diesem Grunde zeigt P_out einen weichen Übergang vom Bereich der langen Belichtung zum skalierten Bereich der kurzen Belichtung.
Die Erfindung ist nicht auf die oben beschriebenen vorgezogenen Ausführungsformen beschränkt, von welchen es möglich ist, Variationen und Verbesserungen zu erstellen, ohne dass dadurch vom Umfang des Schutzes des vorliegenden Patentes abgewichen wird, wie dies in den beigefügten Patentansprüchen dargelegt wird.

Claims

Verfahren zur Erzeugung eines Bildes mittels eines Bildsensors mit einem wirksamen Bereich (1), der eine Vielzahl von Bildelementen (10, 10', ...) enthält, aufweisend a) in n Abfrageläufen, welche auf einer ersten Untermenge (11) von Bildelementen durchgeführt werden, wobei n eine ganze Zahl und n ≥ 2 ist, das Zurücksetzen (21, 25) der ersten Untermenge von Bildelementen (11), die Belichtung (22, 26) der ersten Untermenge von Bildelementen (11) und das Auslesen (23, 27) des Ausgabewertes/der Ausgabewerte (P ⁽²⁵⁵⁾ _long, P ⁽²⁵⁵⁾ _short) der ersten Untermenge (11) von Bildelementen; b) das Kombinieren besagter Ausgabewerte (P ⁽²⁵⁵⁾ _long, P ⁽²⁵⁵⁾ _short) zu einem ersten kombinierten Ausgabewert (P ⁽²⁵⁵⁾ _out); c) die Wiederholung der Schritte a) und b) für mindestens eine zweite Untermenge (11') von Bildelementen.
Verfahren nach Anspruch 1, wobei besagte Untermengen Reihen (11, 11', ...), Spalten (12, 12', ...) oder einzelne Bildelemente (10, 10', ...) des Bildsensors sind.
Verfahren nach Anspruch 1 oder 2, wobei vor dem Schritt a) der wirksame Bereich (1) des Bildsensors in Untermengen (11, 11', ...) mit gleicher Anzahl (256) von Bildelementen (10, 10', ...) unterteilt wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei beim Schritt a) mindestens einer der besagten Ausgabewerte (P ⁽²⁵⁵⁾ _long) gespeichert (24, 24', ...) wird.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die Schritte a) und b) wiederholt werden, bis jedes Bildelement (10, 10', ...) mindestens einmal ausgelesen worden ist.
Verfahren nach einem der Ansprüche 1 bis 5, wobei die Verarbeitung einer Untermenge (11) von Bildelementen sich zeitlich mit der Verarbeitung der folgenden Untermenge (11') von Bildelementen überschneidet.
Verfahren nach einem der Ansprüche 1 bis 6, wobei n = 2 ist für alle Untermengen (11, 11', ...) von Bildelementen.
Verfahren nach Anspruch 7, wobei beim Schritt a) eine längere Belichtung (22, 22', ...) und eine kürzere Belichtung (26, 26', ...) durchgeführt werden.
Verfahren nach Anspruch 8, wobei während der besagten längeren Belichtung (22) einer Untermenge (11) Schritte b) für alle anderen Untermengen (11', ...) durchgeführt werden.
Verfahren nach einem der Ansprüche 1 bis 9, wobei beim Schritt b) besagte Ausgabewerte (P₁, ..., P_n) zu einem kombinierten Ausgabewert (P_out) kombiniert werden mittels einer Vereinigungsfunktion (f(x₁, ..., x_n)), welche echt monoton, kontinuierlich und bei allen besagten Ausgabewerten kontinuierlich (P₁, ..., P_n) differenzierbar ist.
Verfahren nach Anspruch 10 und einem der Ansprüche 8 oder 9, wobei besagte Vereinigungsfunktion (f(x₁,x₂)) die folgenden Eigenschaften aufweist: (i) Präferenz wird demjenigen Ausgabewert (x₁) gegeben, welcher von der längeren Belichtung (22, 22', ...) erhalten worden ist, wenn besagte Ausgabewerte (x₁, x₂) oder eine Kombination von besagten Ausgabewerten ((x₁ + x₂)/2) unter einer gegebenen unteren Grenze (x_low) liegen; (ii) Präferenz wird demjenigen Ausgabewert (x₁) gegeben, welcher aus der kürzeren Belichtung (26, 26', ...) erhalten worden ist, wenn besagte Ausgabewerte (x₁, x₂) oder eine Kombination von besagten Ausgabewerten ((x₁ + x₂)/2) über einer gegebenen oberen Grenze (x_up) liegen; (iii) besagte Vereinigungsfunktion (f(x₁,x₂) steigt bei besagten Ausgabewerten (x₁, x₂) echt monoton an, wenn besagte Ausgabewerte (x₁, x₂) zwischen besagter unteren Grenze (x_low) und besagter oberen Grenze (x_up) liegen.
Verfahren nach Anspruch 11, wobei besagte Vereinigungsfunktion (f(x₁, x₂)) definiert ist durch f(x1, x2) = [cx1 2 + (1 – c)x2 2]½ mit c = (x1 – xup)/(xlow – xup)für x_low < x₁ < x_up.
Bildsensor, aufweisend einen wirksamen Bereich (1 ), der eine Vielzahl von Bildelementen (10, 10', ...) enthält, wobei mindestens zwei Untermengen (11, 11', ...) von Bildelementen eine individuelle Abfrage ermöglichen; Mittel zur Durchführung, bei n Abfrageläufen ausgeführt auf eine Untermenge (11) von Bildelementen, wobei n eine ganze Zahl ist und n ≥ 2 ist, des Rücksetzen (21, 25) besagter Untermenge von Bildelementen (11), der Belichtung (22, 26) besagter Untermenge (11) von Bildelementen und des Auslesens (23, 27) des Ausgabewertes/der Ausgabewerte (P ⁽²⁵⁵⁾ _long, P ⁽²⁵⁵⁾ _short) besagter Untermenge (11) von Bildelementen; Mittel zur Kombination besagter Ausgabewerte (P ⁽²⁵⁵⁾ _long, P ⁽²⁵⁵⁾ _short) zu einem kombinierten Ausgabewert (P ⁽²⁵⁵⁾out: und Wiederhol-Mittel zum Betreiben der vorhergehenden Mittel, um diese auf jede der besagten Untermengen (11') von Bildelementen anzuwenden.
Bildsensor nach Anspruch 13, wobei besagter Bildsensor ein aktiver Pixel-Sensor (APS) ist.
Bildsensor nach einem der Ansprüche 13 oder 14, wobei besagte Ausgabewerte (P_long, P_short) kombiniert werden unter Verwendung einer digitalen Mehrzweck-Recheneinheit, einer speziell dafür vorgesehenen digitalen oder analogen Recheneinheit oder einer Nachschlagtabelle.