[go: up one dir, main page]

JP2018504628A - マルチウェル・フーリエ・タイコグラフィー撮像及び蛍光撮像 - Google Patents

マルチウェル・フーリエ・タイコグラフィー撮像及び蛍光撮像 Download PDF

Info

Publication number
JP2018504628A
JP2018504628A JP2017529721A JP2017529721A JP2018504628A JP 2018504628 A JP2018504628 A JP 2018504628A JP 2017529721 A JP2017529721 A JP 2017529721A JP 2017529721 A JP2017529721 A JP 2017529721A JP 2018504628 A JP2018504628 A JP 2018504628A
Authority
JP
Japan
Prior art keywords
illumination
image
imaging
well
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017529721A
Other languages
English (en)
Inventor
キム ジンホ
キム ジンホ
ヤン チャンフェイ
ヤン チャンフェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology
Original Assignee
California Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology filed Critical California Institute of Technology
Publication of JP2018504628A publication Critical patent/JP2018504628A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6452Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/0095Relay lenses or rod lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics
    • G01N2021/6478Special lenses
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/04Batch operation; multisample devices
    • G01N2201/0446Multicell plate, sequential
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Optical Measuring Cells (AREA)

Abstract

明視野フーリエ・タイコグラフィー撮像及び蛍光撮像用の撮像装置が、第1波長範囲の励起光を透明ウェルに与えるように構成された第1蛍光照明光源;対向して配置された一対の対物レンズを有する光学系;及び透明ウェルから光学系を通って伝搬した光を受光するように構成されたイメージセンサを具えている。このイメージセンサは、可変照明光源から異なる照射角で順次照射される照明に基づいて、ウェル内の試料を通過する光の一意的な照明による一連の強度測定値を取得するように構成され、さらに、試料が第1波長範囲の励起光に応答して発光する光に基づいて、試料の第1蛍光画像を取得するように構成されている。

Description

本願は、米国特許仮出願第62/107631号、発明の名称”Real-time Cell Culture Monitoring via Fourier Ptychographic Microscopy”、2015年1月26日出願、及び米国特許仮出願第62/107628号、発明の名称”Development of 96-well Plate Fluorescence Imaging System”、2015年1月26日出願に基づいて優先権を主張し、これらの仮出願は共に、すべての目的でその全文を参照する形で本明細書に含める。本願は、米国特許出願第15/007196号(代理人整理番号:CIT1P033/CIT 7093)、発明者:Kim他、発明の名称”ARRAY LEVEL PTYCHOGRAPHIC IMAGING”、本願と同日出願にも関連し、この特許出願も、すべての目的でその全文を参照する形で本明細書に含める。
連邦支援の研究開発
本発明は、米国立衛生研究所によって付与された認可番号OD007307の下で米国政府支援によりなされたものである。米国政府は本発明について特定の権利を有する。
発明の分野
特定の態様は、一般にデジタル撮像に関するものであり、より具体的には、フーリエ・タイコグラフィー及び蛍光撮像用の撮像システム、装置、及び方法に関するものである。
発明の背景
生細胞撮像及び他の細胞培養監視は、移動、分裂、分化、環境との相互作用、及び細胞小器官レベルの事象のような動的な細胞挙動をより良く理解するための生物科学実験において広く用いられている。細胞培養監視は、早期段階での不測の細胞死及び細胞汚染を検出して、細胞培養の失敗を適時な方法で救済する機会を提供することもできる。
長期的研究のために、生物科学者は伝統的に、http://www.zeiss.com/microscopy/en_us/products/microscope-components/incubation.htmlに説明されているように、特化した培養兼撮像チャンバを従来の顕微鏡上に構築して、培養した細胞を顕微鏡ステージ上で直接撮像する方法を採っていた。しかし、この方法は高価であるだけでなく、大量の用地を研究所内に占める。さらに、視野及び分解能(解像度)は、従来型顕微鏡内の対物レンズの物理特性に結び付く。従って、こうした従来型顕微鏡プラットフォームを用いる際には、視野と分解能とのトレードオフ(妥協、得失評価)を行わなければならない。他の細胞培養監視の従来方法は、http://www.essenbioscience.com/essen-products/incucyte/に説明されているように、撮像システムを培養器内に含めることである。これらの従来型システムは、標準的な顕微鏡も用いることが不都合である。さらに、機械的走査を用いる。その結果、これらの従来型システムでは、広い視野と高分解能撮像とを同時に得ることは困難である。これに加えて、これらのシステムは、構築して維持することが高価であり、その性能は従来型顕微鏡自体によって限定される。即ち、従来型顕微鏡を通してアクセス可能な空間帯域幅積(SBP:space-bandwidth product)によって特徴付けられる分解可能な画素の数は、一般に10メガ画素に制限される。こうしたSBPの制限は、従来型システムによって実現される画像取得または性能に制約を与える。
最近、従来型顕微鏡のSBP限界を克服する目的で、オンチップ(チップ上)顕微鏡が開発されてきた。これらのオンチップ顕微鏡は、培養器内からの細胞培養体の良好な高分解能かつ広視野(FOV:field-of-view)の撮像を実証してきた。これらのオンチップ顕微鏡の例は、G. Zheng, S. A. Lee, Y. Antebi, M. B. Elowitz, and C. Yang, “The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM)”, Proc. Natl. Acad. Sci. U.S.A. 108(41), 16889-16894 (2011)(非特許文献1)、J. H. Jung, C. Han, S. A. Lee, J. Kim, and C. Yang, “Microfluidic-integrated laser-controlled microactuators with on-chip microscopy imaging functionality”, Lab Chip 14(19), 3781-3789 (2014)(非特許文献2)、及びC. Han, S. Pang, D. V. Bower, P. Yiu, and C. Yang, “Wide field-of-view on-chip Talbot fluorescence microscopy for longitudinal cell culture monitoring from within the incubator”, Anal. Chem. 85(4), 2356-2360 (2013)(非特許文献3)に見出すことができる。しかし、これらのオンチップ顕微鏡は、細胞をイメージセンサ上で成長させる必要があるという固有の制約を有する。こうした制約は、従来の細胞培養の作業の流れからの著しい逸脱である。培養細胞または生物試料をセンサチップ上で撮像する場合、その表面はシリコン系材料(通常は窒化シリコン)製であり、従って細胞培養の環境が変化する。特別な層を画像センサ上にコーティングすることができるとしても、表面の下層は、従来の細胞培養作業の流れで使用するプラスチックまたはガラスとは異なる。さらに、撮像センサの表面は能動層であり、動作中に熱を出す。従って、システムが冷却用に設計されていない限り、細胞培養環境は、こうした熱に関係する温度変化によって影響され得る。デジタル・インライン・ホログラフィーのような他のレンズなし撮像法は、こうした制約なしに機能することができ、高い撮像SBPを明視野モードで提供することができるが、光学焦点調節素子がないことは、効果的な蛍光撮像能力を有することの妨げとなる。焦点調節素子は効果的な蛍光撮像能力のために必要である、というのは、予期される蛍光発生は非コヒーレント(非干渉性)かつ低強度であり、焦点調節素子なしでは蛍光撮像の分解能を低下させるからである。デジタル・インライン・ホログラフィーの例は、W. Bishara, T. W. Su, A. F. Coskun, and A. Ozcan, “Lensfree on-chip microscopy over a wide field-of-view using pixel super-resolution”, Opt. Express 18(11), 11181-11191 (2010)(非特許文献4)、W. Bishara, U. Sikora, O. Mudanyali, T. W. Su, O. Yaglidere, S. Luckhart, and A. Ozcan, “Holographic pixel super-resolution in portable lensless on-chip microscopy using a fiber-optic array”, Lab Chip 11(7), 1276-1279 (2011)(非特許文献5)、及びA. Greenbaum, U. Sikora, and A. Ozcan, “Field-portable wide-field microscopy of dense samples using multi-height pixel super-resolution based lensfree imaging”, Lab Chip 12(7), 1242-1245 (2012)(非特許文献6)に見出すことができる。
米国特許出願第14/960252号明細書 米国特許出願第14/065280号明細書
G. Zheng, S. A. Lee, Y. Antebi, M. B. Elowitz, and C. Yang, "The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM)", Proc. Natl. Acad. Sci. U.S.A. 108(41), 16889-16894 (2011) J. H. Jung, C. Han, S. A. Lee, J. Kim, and C. Yang, "Microfluidic-integrated laser-controlled microactuators with on-chip microscopy imaging functionality", Lab Chip 14(19), 3781-3789 (2014) C. Han, S. Pang, D. V. Bower, P. Yiu, and C. Yang, "Wide field-of-view on-chip Talbot fluorescence microscopy for longitudinal cell culture monitoring from within the incubator", Anal. Chem. 85(4), 2356-2360 (2013) W. Bishara, T. W. Su, A. F. Coskun, and A. Ozcan, "Lensfree on-chip microscopy over a wide field-of-view using pixel super-resolution", Opt. Express 18(11), 11181-11191 (2010) W. Bishara, U. Sikora, O. Mudanyali, T. W. Su, O. Yaglidere, S. Luckhart, and A. Ozcan, "Holographic pixel super-resolution in portable lensless on-chip microscopy using a fiber-optic array", Lab Chip 11(7), 1276-1279 (2011) A. Greenbaum, U. Sikora, and A. Ozcan, "Field-portable wide-field microscopy of dense samples using multi-height pixel super-resolution based lensfree imaging", Lab Chip 12(7), 1242-1245 (2012) G. Zheng, R. Horstmeyer, and C. Yang, "Wide-field, high-resolution Fourier ptychographic microscopy", Nat. Photonics 7(9), 739-745 (2013) X. Ou, R. Horstmeyer, C. Yang, and G. Zheng, "Quantitative phase imaging via Fourier ptychographic microscopy", Opt. Lett. 38(22), 4845-4848 (2013) R. Horstmeyer and C. Yang, "A phase space model of Fourier ptychographic microscopy", Opt. Express 22(1), 338-358 (2014) X. Ou, G. Zheng, and C. Yang, "Embedded pupil function recovery for Fourier ptychographic microscopy", Opt. Express 22(5), 4960-4972 (2014) X.Ou, R. Horstmeyer, G. Zheng, and C. Yang, "High numerical aperture Fourier ptychography: principle, implementation and characterization", Opt. Express 23(3), 3472-3491 (2015) J. Chung, X. Ou, R. P. Kulkarni, and C. Yang, "Counting White Blood Cells from a Blood Smear Using Fourier Ptychographic Microscopy", PLoS One 10(7), e0133489 (2015) A. Williams, J. Chung, X. Ou, G. Zheng, S. Rawal, Z. Ao, R. Datar, C. Yang, and R. Cote, "Fourier ptychographic microscopy for filtration-based circulating tumor cell enumeration and analysis", J. Biomed, Opt. 19(6), 066007 (2014) R. Horstmeyer, X. Ou, G. Zheng, P. Williams, and C. Yang, "Digital pathology with Fourier ptychography", Comput. Med. Imaging Graphics 42, 38-43 (2015)
特定の態様は、マルチウェル系(MWB:multi-well based)の、フーリエ・タイコグラフィー撮像及び蛍光撮像のシステム、装置、及び方法に関連する。一部の態様では、複数のMWBシステムを培養器内に実現することができる。一部の態様では、MWBシステムが複数の撮像装置を単一の本体内に有して、マルチウェル・プレート内の複数の試料を並行して撮像する。
特定の態様は、明視野フーリエ・タイコグラフィー撮像及び蛍光撮像用の撮像装置に関連する。この撮像装置は、第1波長範囲の励起光を透明ウェルに与えるように構成された第1蛍光照明光源を具えている。この撮像装置は、対向して配置された一対の対物レンズを有する光学系をさらに具えている。この撮像装置は、上記透明ウェルから上記光学系を通って伝搬される光を受光するように構成されたイメージセンサをさらに具えている。このイメージセンサは、可変照明光源から異なる照射角で順次照射される照明に基づいて、ウェル内の試料を通過する光の、一意的な照明による一連の強度測定値を取得するようにさらに構成されている。上記イメージセンサは、試料が第1波長範囲の励起光に応答して発生する光に基づいて試料の第1蛍光画像を取得するようにさらに構成されている。特定の実現では、上記イメージセンサが、画像を取得するための制御命令を有するプロセッサからの(例えばコントローラの)信号を受信する。
特定の態様は、フーリエ・タイコグラフィー撮像及び蛍光撮像用のシステムに関連する。このシステムは、マルチウェル・プレートを受けるように構成された本体、及びこのマルチウェル・プレート内のウェルと1対1に対応するように配置された撮像装置を具えている。各撮像装置は、第1波長範囲の励起光を対応するウェルに与えるように構成された第1蛍光照明光源、及び対向して配置された一対の対物レンズを有する光学系を具えている。各撮像装置は、対応するウェルから受光した光に基づいて強度測定値を捕捉するためのイメージセンサをさらに具えている。このシステムは、可変照明光源による異なる照射角で順次照射される照明中に取得した一意的な照明による一連の強度測定値に基づいて、フーリエ・タイコグラフィー再構成を用いて、分解能を向上させた試料の明視野像を生成するように構成されている。このシステムは、試料が上記第1波長範囲の励起光を受光したことに応答して発生する光に基づいて第1蛍光画像を生成するようにも構成されている。
特定の態様は、上記マルチウェル・プレートを平面波照明で、複数の照射角で順次照射するステップを含む撮像方法に関連する。ウェル・プレート内のウェル毎に、この撮像方法は、複数の照射角で順次照射される照明に基づいて、当該ウェル内の試料を通過する光からの一意的な照明による一連の強度測定値を取得する。これに加えて、ウェル・プレート内のウェル毎に、上記一意的な照明による一連の強度測定値に基づいて、フーリエ・タイコグラフィー再構成プロセスにより、分解能を向上させた試料の明視野像を再構成する。特定の実現では、この撮像方法は、可変照明光源内の光源の位置を、マルチウェル・プレート内のウェルからの光を受光するイメージセンサの位置に合わせて較正するステップをさらに含む。
これら及び他の特徴は、添付した図面を参照しながら、以下により詳細に説明する。
一実施形態による、フーリエ・タイコグラフィー明視野撮像及び/または蛍光撮像用の複数のWMBシステムを有する培養システムの構成要素の概略図である。 一実施形態による、図1に示すMWBシステムのうちの1つの、構成要素の概略図である。 図2Aに示すMWBシステムの構成要素の一部の概略分解図である。 図2A及び2Bに示すMWBシステムの撮像装置の構成要素の概略側面図である。 一実施形態による、図2A、2B、及び2Cに示すMWBシステムの構成要素の概略側面図であり、プロセッサ、コンピュータ可読媒体(CRM)、及び光学ディスプレイも示す。 一実施形態による、シングルバンド蛍光撮像用に構成されたMWBシステムの構成要素の概略平面図である。 一実施形態による、デュアルバンド蛍光撮像用に構成されたMWBシステムの構成要素の概略平面図である。 一実施形態による、デュアルバンド蛍光撮像用に構成されたMWBシステムの構成要素の概略図である。 一実施形態による、図4Aに示すMWBシステムの一部の構成要素の概略図である。 一実施形態による、MWBシステムの写真である。 可変照明光源の離散した発光素子(LED)のイメージセンサに対する位置を較正するための較正プロセスのフローチャートである。 一実施形態による、LEDマトリクスの中心LEDによる照明中に捕捉したモノクローム・ビネット画像である。 図7Aの画像を変換した白黒画像である。 他の実施形態による、LEDマトリクスの中心LEDによる照明中に捕捉した画像である。 一実施形態による、イメージセンサの中心に対する画像の中心のxシフト及びyシフトに関連するLED変位の検索プロット図である。 実施形態による、MWBシステムの1つ以上の撮像装置の各々によって実現される撮像方法の動作を表すフローチャートである。 一実施形態による、FP再構成のフローチャートである。 一実施形態による、FP再構成のフローチャートである。 4X/NA0.1対物レンズを有する従来型顕微鏡で平面照明により撮影したUSAFターゲットの画像である。 一実施形態による、1:1の撮像構成を有するMWBシステムによって撮影したUSAFターゲットのRAW強度画像である。 一実施形態による、MWBシステムによって実現されるFP撮像プロセスによって生成したUSAFターゲットの高分解能明視野像を含む図である。 一実施形態による、MWBシステムを用いて取得した低分解能明視野像に蛍光画像をオーバーレイした画像である。 一実施形態による、MWBシステムによって実現される撮像方法のFP再構成プロセスを用いて生成した再構成高分解能明視野像である。 一実施形態による、MWBシステムによって実現される撮像方法のFP再構成プロセスを用いて生成した再構成された位相画像である。 一実施形態による、上記再構成された位相画像上のビーズの、図12C中に示す直線上の厚さをプロットした図である。 z=+100μmにあるUSAFターゲットのデフォーカスした画像である。 一実施形態による、図13Aに示す画像をデジタル処理でリフォーカスした画像であり、MWBシステムによって実現される撮像方法のFP再構成プロセス中にデジタル処理でリフォーカスしている。 z=−100μmにあるUSAFターゲットのデフォーカスした画像である。 一実施形態による、図14Aに示す画像をデジタル処理でリフォーカスした画像であり、MWBシステムによって実現される撮像方法のFP再構成プロセス中にデジタル処理でリフォーカスしている。 一実施形態による、図13B及び14Bに示す解像可能な最小の特徴の直線軌跡のプロット図である。 デフォーカスしたニューロン培養試料の画像である。 一実施形態による、MWBシステムによって実現される撮像方法のFPM再構成を用いてデジタル処理でリフォーカスした位相画像である。 一実施形態による、MWBシステムによって生成した大視野像を示す図である。 一実施形態による、MWBシステムによって実現される撮像方法のFPプロセスによって生成した微速度撮影による一連の位相画像である。 一実施形態による、MWBシステムによって生成した画像に基づいて追跡した標的細胞の位置軌跡をプロットした図である。 一実施形態による、MWBシステムによって実現される撮像方法のFPプロセスによって生成した微速度撮影による一連の画像である。 一実施形態による、特定のMWBシステム内に存在し得る1つ以上のサブシステムのブロック図である。
詳細な説明
種々の異なる態様を、添付した図面を参照しながら以下に説明する。図面中に示す特徴は現寸に比例しないことがある。
I.導入部
特定の態様は、マルチウェル系(MWB)システム、装置、及び高分解能フーリエ・タイコグラフィー明視野撮像及び中分解能蛍光撮像に関連する。複数の態様では、MWBシステムが、マルチウェル・プレート(例えば6ウェル・プレートまたは12ウェル・プレート)を受けるように設計された本体を含み、そして、これらのマルチウェル・プレート内の対応するウェルを撮像するための複数の撮像装置を含む。これらの態様では、各撮像装置が、対応するウェルに蛍光照明を与えるための1つ以上の高出力蛍光照明光源、結像コラム内に対向して配置された一対の対物レンズ(例えば、低NA(numerical aperture:開口数)の対物レンズ)を有する光学系、及びイメージセンサを有する。イメージセンサは、対応するウェルから光学系によって伝搬され、集光され集束されて焦点を結ぶ光を受光する。LED(light emitting diode:発光ダイオード)マトリクスまたは他の可変照明光源が、ウェル・プレート内のウェルを異なる照射角から順次照射してフーリエ・タイコグラフィー照明を与える。一部の態様では、発光フィルタを一対の対物レンズ間に配置して、1つ以上の蛍光照明光源からの励起光を遮光する。1つの態様では、可変照明光源からの照射の波長が発光フィルタの通過帯域内に入り、これにより、イメージセンサは、発光フィルタを除去しなければならないことなしに、フーリエ・タイコグラフィー照明に基づく一意的な照明による一連の明視野像、及び蛍光照明に基づく一連の蛍光画像を取得することができる。FP(Fourier ptychographic:フーリエ・タイコグラフィー)再構成プロセスを用いて、イメージセンサによって捕捉した、一意的な照明による試料の明視野像から、各ウェル内の試料の、分解能を向上させた明視野像を生成することができる。従って、特定のMWBシステムは、複数のウェル内の試料の、高分解能の明視野像及び中分解能の蛍光画像の両方を並行して生成することができる。特定のMWBシステムの撮像装置は小型化して平行なコラム内に配置することができるので、これらの撮像装置は、マルチウェル・プレートとおよそ同じフットプリント(設置面積)を有することができ、そして単一の培養器内に配置することができる。
フーリエ・タイコグラフィー(FP)技術を用いて、従来型撮像システムのSBP限界を克服することができる。FP技術を用いる従来型顕微鏡システムの一部の例は、G. Zheng, R. Horstmeyer, and C. Yang, “Wide-field, high-resolution Fourier ptychographic microscopy”, Nat. Photonics 7(9), 739-745 (2013)(非特許文献7)、X. Ou, R. Horstmeyer, C. Yang, and G. Zheng, “Quantitative phase imaging via Fourier ptychographic microscopy”, Opt. Lett. 38(22), 4845-4848 (2013)(非特許文献8)、R. Horstmeyer and C. Yang, “A phase space model of Fourier ptychographic microscopy”, Opt. Express 22(1), 338-358 (2014)(非特許文献9)、X. Ou, G. Zheng, and C. Yang, “Embedded pupil function recovery for Fourier ptychographic microscopy”, Opt. Express 22(5), 4960-4972 (2014)(非特許文献10)、X.Ou, R. Horstmeyer, G. Zheng, and C. Yang, “High numerical aperture Fourier ptychography: principle, implementation and characterization”, Opt. Express 23(3), 3472-3491 (2015)(非特許文献11)、J. Chung, X. Ou, R. P. Kulkarni, and C. Yang, “Counting White Blood Cells from a Blood Smear Using Fourier Ptychographic Microscopy”, PLoS One 10(7), e0133489 (2015)(非特許文献12)、A. Williams, J. Chung, X. Ou, G. Zheng, S. Rawal, Z. Ao, R. Datar, C. Yang, and R. Cote, “Fourier ptychographic microscopy for filtration-based circulating tumor cell enumeration and analysis”, J. Biomed, Opt. 19(6), 066007 (2014)(非特許文献13)、及びR. Horstmeyer, X. Ou, G. Zheng, P. Williams, and C. Yang, “Digital pathology with Fourier ptychography”, Comput. Med. Imaging Graphics 42, 38-43 (2015)(非特許文献10)に説明され、これらの文献は説明用に参照する形で本明細書に含める。
特定の態様は、明視野高分解能の撮像のためにFP技術を実現することができ、そして中分解能の蛍光画像を取得することもできる撮像装置に関連する。FP技術を実現するために、一連の離散光源を有する可変照明光源(例えば、LEDマトリクス)が、平面波照明を、一連の照射方向で順次、試料に与えることができる。試料が異なる照射方向で順次照射される間に、イメージセンサは、異なる露光時刻に試料を通過する光から、一連の強度分布測定値(RAW強度画像)を捕捉する。この強度画像どうしを、フーリエ・タイコグラフィー再構成プロセスを用いて空間周波数領域内で組み合わせて高分解能画像を生成することができる。(低い開口数(NA)を有する)低倍率の対物レンズを集光素子として用いることによって、撮像装置は、広視野を維持しつつ分解能を向上させることができる。
特定の態様では、MWBシステムの撮像装置が、高性能細胞培養体撮像用に構成されている。これらの場合、撮像装置の構成要素は、複数の試料を並行して撮像することができる単純な小型MWBシステム用に設計されて単一の本体内に配置されている。MWBシステムが小型であるので、多数の細胞培養体の並列的監視用に、複数のMWBシステムを培養システム内に組み込むことができる。このMWBシステムの撮像装置は、試料をイメージセンサ上に配置することを必要としないので、細胞培養体をマルチウェル・プレート内で成長させて撮像することができる。
特定の態様では、MWBシステムの撮像装置が、ミスアライメント(位置不整合)及び/またはデフォーカス(焦点ぼけ)のような実験誤差を許容する撮像技術を用い、こうした撮像技術は、中断なしの長期的監視(例えば、長期的研究)にとって有用であり得る。特定の場合、MWBシステムの撮像装置は、FP再構成プロセスの一部として、マルチウェル・プレートのミスアライメントを修正すること、及び/または高分解能画像をデジタル処理でリフォーカス(焦点合わせ直し)することができる較正プロセスを有する撮像方法を実現する。FP再構成プロセスで得られるデジタル・リフォーカス能力は、ウェル・プレートの小さいドリフト(ゆらぎ)及び機械的不安定性に対して有用であり得る。このことは、システムのユーザにとって顕著な利益である、というのは、ユーザは、従来の撮像技術では受け付けられなかったかも知れない画像を保持してリフォーカスすることができるからである。これに加えて、このことは、機械的なオートフォーカス(自動焦点調整)の解決策の必要性を解消して撮像装置を簡略化する。FP技術のデジタル・リフォーカス能力のある程度の詳細は、非特許文献7に記載されている。構成要素及びその配置を単純にすることができるので、これらの撮像装置は小型で費用効果的にすることができる。複数の撮像装置ユニットを有するシステムは、費用効果的かつ小型に作製して、例えば同時の撮像能力を提供することができる。並列的な撮像を実行する能力は、システムの有効なSBPを、並列なユニットの数に等しい倍率で増強することができる。
特定の態様では、MWBシステムの撮像装置が、試料の代表的な部分を監視するのに十分な大きさの広視野を有するように設計され、このことは、生物研究において細胞培養監視を最も効果的に行うために有用である。一部の場合には、撮像装置が0.01mm2〜100cm2の範囲内の視野を有する。特定の態様では、撮像装置が、関心のある細胞変化を区別するのに十分な高さの分解能で画像を生成するように設計されている。一部の場合には、撮像装置が2μm〜10μmの空間分解能を有する。
II.フーリエ・タイコグラフィー明視野撮像及び蛍光撮像用システム
特定の態様は、1つ以上のMWBシステムを入れ込むことができる容積を有する培養器を具えた培養システムに関連する。特定の場合、MWBシステムが、単一の本体内に平行に配置され垂直方向の結像コラムを有する複数の撮像装置(撮像ユニットとも称する)を有する。設計通りに、このMWBシステムは、この本体上に載置したマルチウェル・プレートの複数のウェル内の試料を同時に(並行して)撮像することができる。このMWBシステムの各撮像装置は、マルチウェル・プレート内の対応するウェル内の試料の、フーリエ・タイコグラフィー明視野高分解能撮像及び中分解能蛍光撮像の両用に構成されている。培養器の例は、200リットルの容積を有する生物培養器である。
一部の場合には、培養システムが、容積内で水平方向に間隔をおいた複数の水平棚を有する。これらの水平棚は、プレート(平皿、平板)、フラスコ、及び/または1つ以上のMWBシステムのような種々の備品を保持するようなサイズ及び間隔を有する。1つの態様では、培養システムが、1つ以上のMWBシステムを1つの水平棚上に載置することができるようなサイズ及び間隔の水平棚を有する。一例では、隣接する水平棚間の間隔が少なくとも250mm間隔である。培養システムは、各MWBシステム内の撮像装置と、プロセッサ(例えばマイクロプロセッサ)及び/または電源との間の電気接続部も含む。
1つの態様では、培養システムが、1つ以上のMWBシステムを載置することができる水平棚の上方にある表面または他の構造上に配置された可変照明光源(例えば、LEDマトリクス)を含む。一例では、載置される水平棚が培養器の下側の棚である。この場合、LEDマトリクスまたは他の可変照明光源は下向きであり、この下側の棚の上方にある水平棚の下面上に配置されている。他の場合、載置される水平棚が培養器の最上部の棚である。この場合、LEDマトリクスまたは他の可変照明光源は下向きであり、培養器の容積をなす上側水平壁の内面上に配置されれいる。本明細書では、培養システムの特定例を、棚毎に6つのMWBシステムを有する2つの水平棚の培養器で説明しているが、本発明はそれに限定されす、培養システムの他の例は、より多数または少数の棚を有すること、及び/または、1つの水平棚上により多数または少数のMWBシステムを載置することができるように構成された培養器を有することができることは明らかである。
図1は、一実施形態による、フーリエ・タイコグラフィー明視野撮像及び/または蛍光撮像用の複数のMWBシステム100を有する培養システム10の構成要素の概略図である。培養システム10は、容積14(例えば、200リットル)、容積14内の2つの水平棚16、及び培養器12の下面に近接した水受けトレイ30を具えている。水平棚16どうしは間隔をおいている(例えば、少なくとも250mmの間隔)。フーリエ・タイコグラフィー明視野撮像及び/または蛍光撮像用の12個のMWBシステムを、培養器12の容積14内の2つの水平棚16上に(1つの棚に6個)載置して示す。この培養システムは、カラーLEDマトリクスの形態の2つの可変照明光源110を含む。第1可変照明光源110は、培養器12の水平棚16上に載置された6個のMWBシステムに順次照射されるFP照明を与えるように構成されている。第1可変照明光源110は、培養器12の容積14の上側水平壁の下面に取り付けられている。第2可変照明光源110は、MWBシステム100を載置された下側の水平棚の上方に、上側の水平棚16の下面に取り付けられている。培養システム10は、MWBシステム100とプロセッサ及び/または電源との間の電気接続部(図2Dに示す)も含む。
図示する例では、各水平棚16上の6個のMWBシステム100が、可変照明光源110を共用する。可変照明光源110は、順次照射される照明を異なる照射角で、MWBシステム100のウェル・プレート内の試料に与える。他の例では、各MWBシステム100が、自前の可変照明光源110を有するか、あるいはより多数またはより少数のMWB100と共用する。
特定の態様は、複数の並列な撮像装置を有するMWBシステムに関連する。各撮像装置は、垂直方向に整列した構成要素を有し、これにより、これらの並列な撮像装置を単一の本体内に配置して、この本体上に載置されたマルチウェル・プレート内の複数のウェル内の試料を同時に撮像することを可能にすることができる。各撮像装置は、マルチウェル・プレート(例えば、6ウェル・プレートまたは12ウェル・プレート)の単一ウェル内の試料のフーリエ・タイコグラフィー明視野高分解能撮像及び中分解能蛍光撮像の両用に構成されている。このMWBシステムの本体は、マルチウェル・プレートを受けて保持するように設計されている。例えば、この本体は、マルチウェル・プレートを据え置くための、マルチウェル・プレートの外周の形状のリップ(へり)を含むことができる。
本明細書で用いるマルチウェル・プレートは、複数のウェルを有する透明材料製の平板を参照する。一般に、これらのウェルは円形または正方形の形状であり、試料を受けるために開口した上端及び閉じた底部を有する。一例では、マルチウェル・プレートの各ウェルが円形であり、34mmの直径を有する。一例では、マルチウェル・プレートの各ウェルが円形であり、23mmの直径を有する。ウェル内で撮像される試料は、1つ以上の物体及び/または物体の1つ以上の部分で構成することができる。各物体は、例えば、生物学的実体、無機物、等とすることができる。撮像することができる生物学的実体のいくつかの例は、細胞全体、細胞成分、バクテリアまたはウィルスのような微生物、及びタンパク質のような細胞成分を含む。撮像することができる無機物の例は半導体ウェハーである。こうした試料は液体のような媒質中に用意することができる。
特定の態様では、MWBシステムの撮像装置が、可変照明光源から順次照射される照射を受け(あるいは、可変照明光源を他の撮像装置と共用し)、励起光を与えるように構成された少なくとも1つの高出力蛍光照明光源、及び垂直方向のコラム内に配置された結像光学系を有する結像部を含む。一部の場合には、撮像装置またはMWBシステムが可変照明光源を含む。特定の実現では、結像光学系が1:1光学系である。他の比率を用いることができる。一部の場合には、結像光学系が、対物レンズの分解能をイメージセンサの画素サイズの半分に一致させるように設計されている。
本明細書では、MWBシステムの特定例を、6ウェル・プレート内にある6つのウェル内の試料を独立して撮像するための6つの撮像装置を有するように説明しているが、本発明はそれに限定されず、MWBシステムがより少数またはより多数の撮像装置(ユニット)を有することができることは明らかである。例えば、あるMWBシステムは、12ウェル・プレートの12個のウェル内の試料を撮像するための12個の撮像装置を有することができる。
本明細書で用いる可変照明光源は、平面波照明を順次に、n通りの異なる角度で1つ以上のMWBシステムの試料に与えるように構成することができる装置を参照する。各照射角は、フーリエ領域内の対応する領域の位置に対応する。各可変照明光源は、複数の離散した発光素子を異なる位置に、例えば二次元格子、直線アレイ、同心円、等の形に配置した配列を具えている。一部の場合には、離散した発光素子の各々が、複数の光源、例えば赤色光源、青色光源、及び緑色光源を含む。図1では、例えば、可変照明光源110が三色LED(の二次元)マトリクスであり、各LEDは赤色光源、青色光源、及び緑色光源を含む。異なる位置にあるn個の異なる離散素子(あるいはそのグループ)を順次照射することによって、可変照明光源が平面波照明をn通りの異なる照射角で与える。1つの態様では、可変照明光源が二次元マトリクス(例えば、32×32マトリクス、100×100マトリクス、32×64マトリクス、64×64マトリクス、及び128×128マトリクス)の形態である。
順次照射される照明を与えるために、可変照明光源は、FP像取得プロセス中に、異なる位置にある異なる離散素子(またはそのグループ)を照射する。可変照明光源の離散素子を作動させる順序及びタイミングは、照明命令中に提供される。一例では、照明の順序が円形パターンであり、中心位置から始まり中心位置で終わる。他の例では、照明の順序が、最上行から最下行までの蛇行パターンに従う。
一般に、可変照明光源の光源はコヒーレント(可干渉性)光源であり、1つの態様では、非コヒーレント光を発光する有限サイズの活性領域を有する光源を用いることができる。この有限サイズの光源において非コヒーレントであるこうした光は、試料平面へ伝搬する際に部分的にコヒーレントな場を形成し、フーリエ再構成プロセスにおいて計算による補正を適用して、入射する照明の部分的にコヒーレントな性質を説明付けることができる。
一部の態様では、可変照明光源が可視光を与える。可視光を与える可変照明光源の例は発光ダイオード(LED)マトリクスである。この例では、各LEDが発光素子である。可視光を与える可変照明光源の他の例は液晶ディスプレイ(LCD:liquid crystal display)である。
MWBシステムの各撮像装置は、蛍光照明を与えるための1つ以上の高出力蛍光照明光源を有する蛍光照明部を含み、この蛍光照明は試料内のフルオロフォア(蛍光色素素子)を活性化するための励起光である。各高出力蛍光照明光源は、特定波長範囲の励起光を発生するように設計されている。多色(マルチカラー)蛍光撮像の例では、各撮像装置が、撮像する帯域(バンド)毎に別個の高出力蛍光照明を有する。
各高出力蛍光照明光源は、1つ以上の高出力光源(例えば、高出力LED)、及びある波長範囲の励起光を通過させて他の波長を阻止するための励起フィルタを含む。一例では、高出力蛍光照明光源が6つの高出力LEDを含む。一例では、高出力蛍光照明光源が1つの高出力LEDを含む。一例では、高出力蛍光照明光源が複数の高出力LEDを含む。単色(単一帯域)蛍光撮像については、各撮像装置が、少なくとも1つの高出力蛍光照明光源を有し、この蛍光照明光源は、高出力光源(例えば、LED)及び特定波長範囲の励起光を通過させて他の波長を阻止するための励起フィルタを有する。多色(マルチ(多)チャンネル)蛍光撮像については、高出力光源とフィルタの組の数が、蛍光チャネルの数と共に増加する。マルチバンド(多帯域)蛍光撮像については、蛍光チャンル毎に異なる高出力蛍光照明光源を用いる。各高出力蛍光照明光源は、異なる画像取得時刻に照射され、これにより、モノクローム蛍光画像がチャネル毎に別個に取得される。プロセッサは、モノクローム蛍光画像をカラー蛍光画像に変換するための命令を実行することができる。多色の実施形態では、プロセッサは、複数のカラー蛍光画像からの画像データをオーバーレイ(重ね合わせ)することによって多色蛍光画像を生成することができる。例えば、プロセッサは、青色蛍光画像及び緑色蛍光画像からの画像データをオーバーレイすることによって青色−緑色蛍光画像を生成することができる。
特定の態様によれば、小型のシステムを維持しつつ蛍光照明を与えるために、撮像装置の1つ以上の高出力蛍光照明光源を、照射されるウェルの側部に配置することができる。こうした側部の位置で、1つ以上の高出力蛍光照明光源が、上記可変照明光源からの光路を阻止することなしに、ウェルの側部から直接試料に向けて励起光を発光することができる。1つの態様では、各撮像装置の1つ以上の高出力蛍光照明光源が、マルチウェル・プレート内またはマルチウェル・プレートの側部に設置されている。一般に、上記1つ以上の高出力蛍光照明光源は(高出力光源及び励起フィルタが共に)ウェルの中心に向けて傾斜し、これにより、上記直接の励起光の経路は各ウェルの中心(即ち、各ウェルの関心領域)に至る。一部の場合には、上記1つ以上の高出力蛍光照明光源が、ウェルの下側内面の平面からある角度をなして配置されている。これらの角度は、強力な非散乱励起光の受光を防止するために、第1対物レンズの開口数(NA)外であるように選択する。1つの態様では、この角度が6度である。他の態様では、この角度が4.6度である。
1つの態様では、LEDマトリクスまたは他の可変照明光源を複数の撮像装置及び/または複数のMWBシステムが共用する。この態様では、単一の照明発光素子(例えば、LED)が平面波照明を複数の撮像装置及び/またはMWBシステムに同時に与えることができる。例えば、図1に関して説明した培養システム10は各水平棚20上に6つのMWBシステム100を有し、6つのMWBシステム100の全部が、水平棚20の上方にある表面上の可変照明光源110を共用する。共用する構成により各撮像装置のフットプリントが低減され、このことは、培養器内部の限られた容積内でのより並列的な実験を可能にする。こうした共用する構成は、マルチウェル・プレートと可変照明光源との間の空間も解放し、これにより、マルチウェル・プレートに容易にアクセスするための空間が提供され、追加的表面からの無用な反射の可能性がなくなる。特定の態様によれば、MWBシステムが、垂直方向に整列した撮像装置の集合を単一の本体内に含む。各撮像装置の撮像部は、例えばCMOS(complementary metal oxide semiconductor:相補型金属酸化物半導体)センサカメラの光学系及びイメージセンサを含む。この光学系は、結像コラム内に対向して配置された一対の対物レンズ、及びこれらの対物レンズ間の発光フィルタを有する。これらの対物レンズは、試料から出る光を集光する第1集光対物レンズ、及びこの光をイメージセンサに焦点を結ぶように集束させる第2集束対物レンズを含む。特定の実現では、上記光学系が1:1光学系であり、イメージセンサ上への試料の1対1の結像を可能にする。こうした1:1結像光学系は、低倍率(低NA)の第1集光対物レンズを用いることによって、ウェル内の試料の広視野撮像をもたらす。一部の場合には、光学系が、約36mm以上の直径を有するウェルの領域全体にわたって撮像するための視野用に設計されている。
一例では、第1集光対物レンズが約0.1のNAを有する。他の例では、第1集光対物レンズが約0.2のNAを有する。他の例では、第1集光対物レンズが約0.4のNAを有する。他の例では、第1集光対物レンズが0.05未満のNAを有する。他の例では、第1集光対物レンズが0.01未満のNAを有する。
同じ対物レンズのうちの2つを用いることによって、撮像装置は、同じフットプリントを維持することにより、対物レンズの分解能を低下させることなしに、より小型に作製することができる。また、2つの対物レンズ間に無限大の平面を作ることによって、撮像装置を、各ウェルの倍率を変化させることなしに独立して各ウェルに焦点を結ぶように微調整することができる。一例では、各対物レンズがオリンパス社製の4X/NA0.1(4倍/開口数0.1)対物レンズである。
一部の場合には、上記光学系が、試料のフーリエ面内の第1対物レンズと第2対物レンズとの間に発光フィルタも有する。この発光フィルタは、装置の1つ以上の高出力蛍光照射光源からの励起光を遮光する。1つの態様では、この発光フィルタが干渉フィルタである。単チャネル蛍光撮像用の撮像装置の例では、上記発光フィルタがバンドパス(帯域通過)またはローパス(低域通過)フィルタである。マルチチャネル蛍光撮像用の撮像装置の例では、上記発光フィルタがマルチバンド・フィルタである。
1つの態様では、可変照明光源からの明視野照明の波長範囲が上記発光フィルタの通過帯域内に入り、これにより、発光フィルタは、ウェル内の試料を通過する可変照明光源からの光を通過させる。この場合、イメージセンサは、発光フィルタを定位置に置いたままで、一意的な照明による一連の明視野像及び一連の蛍光画像を共に取得することができる。他の態様では、可変照明光源からの明視野照明の波長範囲が上記発光フィルタの波長範囲内に入らず、FP像取得プロセス中には発光フィルタを除去する。
特定の態様によれば、MWBシステムの各撮像装置がイメージセンサ(例えば、CMOSセンサ)を含み、このイメージセンサは、FP画像取得プロセス中には一意的な照明によるn個の強度画像を取得することができ、各蛍光画像取得プロセス中には蛍光画像を取得することができる。このイメージセンサは、露光時間全体にわたってイメージセンサのセンサ(検出)領域に入射する光の強度分布を測定することによって各画像を取得する。多数の例では、このイメージセンサがUSB(universal serial bus)カメラの一部分である。このイメージセンサはモノクローム検出器である。
1つの態様では、イメージセンサのサイズが、対物レンズの視野数に一致し、及び/または、各センサ素子(画素)のサイズが、対物レンズが提供することができる分解能の半分に一致する。こうしたサイズ設定は、撮像装置が対物レンズの視野を完全に利用することを可能にする。光学系のSBPを完全に利用するために、センサの画素サイズは、対物レンズの分解能の半分に等しくするかそれよりも小さくするべきであり、センサ表面のサイズは、対物レンズの視野に等しくするかそれよりも大きくするべきである。上記の条件が共に「等しくする」である際に、システムは良好に設計され最も効果的である。
各蛍光画像取得プロセス中には、高出力蛍光照明光源がある波長範囲の蛍光照明(励起光)を与える間に、イメージセンサがモノクローム蛍光画像を取得する。このモノクローム像はプロセッサによってカラー蛍光画像に変換される。MWBシステムが複数の高出力蛍光照明光源を有する場合、イメージセンサは複数のモノクローム蛍光画像を取得することができ、各蛍光画像は、これらの高出力蛍光照明光源のうちの1つが蛍光照明を与える間に取得される。
画像取得(サンプル)時間は、イメージセンサの露光期間中のある時刻を参照し、この露光期間中にイメージセンサは強度分布を測定して単一の強度画像を取得する。FP像取得プロセス中には、イメージセンサは一意的な照明によるn個(例えば、n=1、2、5、10、20、30、50、100、1000、10000、等)の強度画像を捕捉する。一部の場合には、サンプリング速度を1秒当たり0.1〜1000フレームの範囲内にすることができる。
上述したように、イメージセンサは、FP画像取得プロセス中に一意的な照明によるn個の強度画像を捕捉する。イメージセンサによって捕捉した一意的な照明によるn個の強度画像の各々が、フーリエ空間内の1つの領域に関連する。フーリエ空間内では、隣接する領域どうしがオーバーラップ(重複)する領域を共有し、このオーバーラップする領域上では、これらの隣接する領域が同じフーリエ領域データをサンプリングする。一例では、フーリエ空間内で隣接する領域どうしが、これらの領域の一方の面積の約2%〜約99.5%だけオーバーラップする。他の例では、フーリエ空間内で隣接する領域どうしが、これらの領域の一方の面積の約65%〜約75%だけオーバーラップする。他の例では、フーリエ空間内で隣接する領域どうしが、これらの領域の一方の面積の約65%だけオーバーラップする。他の例では、フーリエ空間内で隣接する領域どうしが、これらの領域の一方の面積の約70%だけオーバーラップする。他の例では、フーリエ空間内で隣接する領域どうしが、これらの領域の一方の面積の約75%だけオーバーラップする。
図2Aは、一実施形態による、図1に示すMWBシステムのうちの1つの構成要素の概略図である。図示するMWBシステム100は、6ウェル・プレート20に適合するように設計されている。MWBシステム100は、単一の本体102内に平行に配置された6つの撮像装置200で構成される。設計通りに、6つの撮像装置は6ウェル・プレート20の6つのウェル22内の試料を撮像することができる。図2Aでは、6ウェル・プレート20は、MWBシステム100の本体102内の最上部に載置されている。図2Bは、図2Aに示すMWBシステム100の構成要素の一部の概略分解図である。
特定の態様では、MWBシステムの各撮像装置が、FP照明部、蛍光照明部、及び撮像部を含む。図2A及び2Bでは、FP照明部が、他のMWBシステム100と共用される可変照明光源110の形態である。可変照明光源110は、FP照明、即ち、異なる照射角で順次照射される照明を、水平棚16上のMWBシステム100の6ウェル・プレート内の試料に与える。
図2A及び2Bでは、各撮像装置200が、高出力蛍光照明光源220の形態の蛍光照明部も含む。高出力蛍光照明光源220は、励起光(蛍光照明)をウェル・プレート20の側部からウェル22へ与えるように構成されている。1つの態様では、高出力蛍光照明源220が、ウェル・プレート200内またはウェル・プレート200の側部に設置されている。
図2A及び2Bでは、各撮像装置200が撮像部240も含む。撮像部240は光学系及びイメージセンサ270を含む。図2A、2B及び2Cでは、イメージセンサの各々が5MP(メガピクセル(画素))のCMOSカメラ(例えば、2.2μmの画素サイズを有するイメージング・ソース社製のDMK 23UP031)内にある。光学系は一対の同じ対物レンズ(例えば、オリンパス社製の4X,NA0.1または他の低倍率対物レンズ)を有し、これらは、対向して配置されて垂直方向の結像コラムを形成する第1対物レンズ250及び第2対物レンズ260を含む。この1:1結像光学系は、イメージセンサ270上への試料の1対1の結像を可能にする。大視野の撮像を可能にするために、対物レンズ250及び260は低倍率のものである。一例では、対物レンズ250、260の各々が約0.10のNAを有する。一例では、対物レンズ250、260の各々が約0.08のNAを有する。一例では、対物レンズ250、260の各々が約0.13のNAを有する。対物レンズ250及び260の一部の例は低コストで市販されている。
上記1:1光学系は、第1対物レンズ250と第2対物レンズ260との間に配置された発光フィルタ255も含む。発光フィルタ255は、高出力蛍光照明光源220からの励起光を遮光する。図示する例では、可変照明光源110からの明視野照明の波長範囲が発光フィルタ255の通過帯域内に入り、これにより、センサ270は、発光フィルタ255を除去することなしに、一意的な照明による一連の明視野像及び一連の蛍光画像を共に取得することができる。
図2A及び2Bに示す各撮像装置200は、可変照明光源が順次照射される照明を異なる照射角から与える間に、イメージセンサ270を用いて一連のRAW明視野像を捕捉することができる。1つの態様では、異なるLEDを順に点灯する間に、イメージセンサ270がRAW画像を順次捕捉する。対物レンズ250及び260が低倍率のものであるので、各RAW明視野像は一般に分解能が貧弱である。第1対物レンズ250の低倍率に起因して、試料の大きな視野を撮像することができる。撮像装置200は、フーリエ・タイコグラフィー(FP)技術を用いて、イメージセンサによって取得した低分解能の強度画像により、試料の高分解能明視野像を生成することができる。FP技術を用いて、一意的な照明によるRAW強度画像どうしを、FP再構成プロセスにおける位相回復演算を用いてフーリエ領域内でまとめ合わせ、これにより高分解能の明視野像が生じる。FP再構成プロセスの詳細は非特許文献7に見出すことができ、この文献はその全文を参照する形で本明細書に含める。FP再構成プロセスのある程度の詳細はIII節中に見出すことができる。
図2A及び2B中の各撮像装置200は、高分解能かつ広視野の撮像及び中分解能の蛍光撮像を共に用いて、およそ6ウェル・プレート分のシステム・フットプリントで、各ウェル22内に配置された試料(例えば細胞培養体)を監視することができる。垂直方向の結像コラム内の同じ対物レンズ250及び260を有する光学系を用いることによって、撮像装置200のサイズを低減して、6ウェル・プレート分の間隔未満の(例えば、中心間30mmの)間隔をMWBシステム100内で可能にする。この構成は、高分解能のFP撮像及び中分解能の蛍光撮像(シングルバンド(単帯域)またはマルチバンド)の両方において、撮像装置200を6ウェル・プレート20の各ウェル22に割り当てることを可能にする。この構成により、MWBシステム100は、機械的移動を用いることなしに、マルチウェル・プレート内の複数のウェルを同時に撮像することができ、マルチウェル・プレートを撮像するために使用される従来型システムでは、一般に機械的移動を必要とする。
図2Cは、一実施形態による、図2A及び2Bに示すMWBシステム100の撮像装置200の構成要素の概略側面図である。撮像装置200は、順次照射されるFP照明112を与えるための可変照明光源110を具えている。本明細書で用いる順次照射されるFP照明は、FP・RAW画像取得サイクル中にn通りの異なる照射角で順次に与えられる平面波照明を参照する。1つの態様では、可変照明光源110の異なる位置にある異なる離散発光素子(例えば、LED)を順次照射することによって、順次照射されるFP照明を達成する。図2Cでは、可変照明光源110を、異なる発光素子を1つずつ順に照射することによって、3回の画像取得時に3つの異なる照射角で照明を与えるように示している。図2Cは取得時刻tiを表し、ここにi=1〜nである。この取得時刻tiでは、実線の矢印で表す平面波照明が可変照明光源によって照射角θで与えられる。破線の矢印は、可変照明光源110によって他の取得時刻に与えられる平面波照明を表す。
撮像装置200は、励起光223を与えるための高出力蛍光照明光源220も含む。高出力照明光源220は、ウェル22の側部から励起光223を与えるように設置されている。高出力蛍光照明光源220は、高出力LED221(例えば、6つの高出力LED)及び励起フィルタ222を含む。励起フィルタ222は、励起光223を通過させて他の波長を阻止する。高出力照明光源220は、励起光223を、ウェル22の底部内面23の平面から小さい角度αで指向させて、励起光223が第1対物レンズ250によって集光されることを防止するように配置されている。図示する例に表す取得時刻tiには、高出力蛍光照明光源220は、破線の矢印で示すように、現在、励起光223を与えていない。励起光223は他の画像取得時刻に与える。
撮像装置200は、光学系244を有する撮像部240、及び例えばUSB接続カメラのイメージセンサ270も含む。光学系244は、結像コラムを形成する第1対物レンズ250及び第2対物レンズ260を含む。対物レンズ250と260は同じものであり、対向して配置されて結像コラムを形成し、この結像コラムは、USB接続カメラのイメージセンサ270上への試料の1対1の結像を可能にする。大視野の撮像のために、対物レンズ250、260は低倍率のものである。1:1光学系244は、試料のフーリエ面内の、第1対物レンズ250と第2対物レンズ260との間に配置された発光フィルタ255も含む。発光フィルタ255は、高出力蛍光照明光源220からの励起光を遮光する。
図2Dは、一実施形態による、図2A、2B、及び2Cに示すMWBシステム100の構成要素の概略側面図であり、プロセッサ180、コンピュータ可読媒体(CRM:computer readable medium)182、及び随意的なディスプレイ182(破線で表す)も含む。この図では、MWBシステム100の撮像装置200のうちの2つを示し、これらは、(図2A及び2Bに示す)6ウェル・プレート20のウェル22に順次照射されるFP照明112を与えるための可変照明光源110を共用する。図2Dでは、可変照明光源110を、異なる発光素子対を対毎に順次照射することによって、3つの画像取得時刻に3つの異なる照射角で各ウェル22に照明を与えるように示している。図示する例に表す取得時刻に、可変照明光源110によって、可変照明光源110の一対の発光素子から平面波照明が与えられる。破線の矢印は、他の取得時刻における平面波照明を表す。
各撮像装置200は、当該撮像装置200のウェル22の側部から励起光223を与えるための高出力蛍光照明光源220を含む。各高出力蛍光照明光源220は、高出力LED221、及び励起光223を通過させて他の波長を阻止するための励起フィルタ222を含む。高出力蛍光照明光源220は、励起光223を、ウェル22の底部内面23の平面から(図2Cに示す)小さい角度で指向させるように配置されている。図示する例に表す取得時刻tiには、高出力蛍光照明光源220は、点線の矢印で示すように励起光223を与えていない。即ち、この図示する例に示す時刻には、可変照明光源110が点灯されて平面波照明112を一対の発光素子からウェル22に与え、高出力蛍光照明光源220は点灯されない。
各撮像装置200は、光学系244、及び例えばUSB接続カメラのイメージセンサ270を有する撮像部240も含む。光学系244は、結像コラムを形成する第1対物レンズ250及び第2対物レンズ260を含む。対物レンズ250と260は同じものであり、対向して配置されて結像コラムを形成し、この結像コラムは、USB接続カメラのイメージセンサ270上への試料の1:1の結像を可能にする。大視野の撮像のために、対物レンズ250及び260は低倍率のものである。光学系244は、試料のフーリエ面内の第1対物レンズ250と第2対物レンズ260との間に配置された発光フィルタ255も含む。発光フィルタ255は、高出力蛍光照明光源220からの励起光を遮光する。図2Cでは、発光フィルタ255は試料のフーリエ面内の同じ対物レンズ150と160との間にある。
図2Dは、プロセッサ180、コンピュータ可読媒体(CRM)184、及び随意的なディスプレイ182も示し、ディスプレイ182は、図1に示す培養システム10のMWBシステム100が共用する。CRM184はプロセッサ180と通信する。随意的なディスプレイ182はプロセッサ180と通信する。プロセッサ180はイメージセンサ270の各々とも通信する。随意的に、プロセッサ180は、点線で表すように可変照明光源110及び/または高出力蛍光照明光源220とも通信する。1つの態様では、プロセッサ180、ディスプレイ182、及びCRM184は、例えばスマートホン、デスクトップ・コンピュータ、タブレット、等のようなコンピュータ装置の構成要素である。
図2A〜2Dに示すMWBシステム100の代表的な動作中には、各イメージセンサ270は、n通りの照射角で順次照射されるFP照明中に、一意的な照明によるn個の一連の強度画像を捕捉する。例えば、二次元の13×13LEDマトリクス内の各LEDを点灯してから、169通りの照射角で順次照射される照明により169個の一連の画像を捕捉する。プロセッサ180は、FP再構成プロセスを用いて、一意的な照明によるn個の一連の強度画像からのデータを空間周波数領域内でまとめ合わせて、イメージセンサ270に関連するウェル22内の試料の、より高分解能の明視野像を生成する。MWBシステム100は、捕捉される蛍光画像に関連する作動中のフルオロフォア毎に異なる高出力蛍光照明光源で試料を照射することによる蛍光撮像を実行する。1つの場合には、可変照明光源の明視野照明波長が発光フィルタ255の通過帯域内に入り、発光フィルタ255が対物レンズ250と260との間の定位置にある間に、イメージセンサ270は明視野像及び蛍光画像を共に収集することができる。他の場合には、発光フィルタ255が、蛍光撮像サイクルの前に対物レンズ250と260との間に挿入され、及び/または、FP画像取得プロセスの前に対物レンズ250と260との間から除去される。
シングルバンドの実施形態では、MWBシステムの撮像装置が、単一の高出力蛍光照明光源を含むだけでよい。例えば、図2Aに示す撮像装置100は単一の高出力蛍光照明光源を含み、この高出力蛍光照明光源は、6つの高出力LED、及び第1波長範囲を通過させる第1励起フィルタを有する。この態様では、撮像装置が、第1対物レンズと第2対物レンズとの間の1対1光学系のフーリエ面内にシングルバンド発光フィルタも含む。このシングルバンド発光フィルタは、第1波長範囲の励起光を遮光する。
デュアルバンド(二重帯域)の実施形態では、撮像装置が少なくとも2つの高出力蛍光照明光源、即ち:第1高出力蛍光照明光源及び第2高出力蛍光照明光源を有する。第1高出力蛍光照明光源は、高出力光源、及び第1波長範囲の励起光を通過させる第1励起フィルタを有する。1つの場合には、第1波長範囲が320nm〜380nmの範囲である。他の場合には、第1波長範囲が410nm〜460nmの範囲である。他の場合には、第1波長範囲が470nm〜500nmの範囲である。第2高出力蛍光照明光源は、高出力光源、及び第2波長範囲の励起光を通過させる第2励起フィルタを有する。1つの場合には、第2波長範囲が470nm〜500nmである。他の場合には、第2波長範囲が570nm〜600nmである。他の場合には、第2波長範囲が450nm〜500nmである。デュアルバンドの実施形態では、撮像装置が、第1対物レンズと第2対物レンズとの間の1対1光学系のフーリエ面内にデュアルバンド発光フィルタも含む。このデュアルバンド発光フィルタは、第1波長範囲の励起光を遮光し、かつ第1波長範囲の励起光を遮光する。
デュアルバンドの実施形態では、撮像装置が、第1波長範囲に基づいて第1モノクローム蛍光画像を生成し、第2波長範囲に基づいて第2モノクローム蛍光画像を生成することができる。1つの態様では、プロセッサが、これらのモノクローム蛍光画像の一方または両方をカラー蛍光画像に変換する命令を実行する。このプロセッサは、カラー蛍光画像どうしを組み合わせて二色(デュアルカラー)蛍光画像にする命令を実行することができる。この二色蛍光画像は、生物学的検査において、試料の異なる特徴を異なる色で表示して区別するために有用である。
図3Aは、シングルバンドの実施形態による、シングルバンド蛍光撮像用に構成されたMWBシステム300の概略平面図である。MWBシステム300の構成要素は、図2A、2B、2C、及び2Dに関して説明したものと同様である。この例では、MWBシステム300の撮像装置がシングルバンド発光フィルタ(図示せず)を対物レンズ間に有する。図示するMWBシステム300は、本体301内に配置された6つの同じ撮像装置を具えて、本体301上に載置された6ウェル・プレート内にある全6つのウェル303内の試料を撮像することができる。撮像装置の各々は、第1波長範囲の励起光を与えるための高出力蛍光照明光源320を含む。高出力蛍光照明光源320は、撮像される試料を有するウェル303に近接した6ウェル・プレート302の側部から励起光302を与えるように設置されている。高出力蛍光照明光源320はウェル303の中心に指向されている。各高出力蛍光照明光源320は、高出力光源(例えばLED)321及び励起フィルタ322を含む。励起フィルタ322は、第1波長範囲の励起光を通過させて他の波長を阻止する。上記蛍光撮像方法の期間中には、MWBシステム300の高出力光源(例えばLED)321が点灯されて、MWBシステム300は6つのウェル303内の各試料の蛍光画像を取得することができる。第1蛍光画像は、第1波長範囲によって活性化された試料中のフルオロフォアから集光された発光に基づく。
図3Bは、デュアルバンドの実施形態による、MWBシステム400の構成要素の概略平面図である。図示するMWBシステム400は、本体401内に配置された6つの同じ撮像装置を具えて、本体401上に載置された6ウェル・プレート402内にある全6つのウェル403内の試料を撮像することができる。撮像装置の各々は、第1波長範囲の励起光を与えるための第1高出力蛍光照明光源420、及び第2波長範囲の励起光を与えるための第2高出力蛍光照明光源430を含む。高出力蛍光照明光源420及び高出力蛍光照明光源430は、撮像される試料を有するウェル403に近接した6ウェル・プレートの側部から励起光を与えるように設置されている。高出力蛍光照明光源420及び高出力蛍光照明光源430は、ウェル403の中心に励起光を指向させるように配向されている。各第1高出力蛍光照明光源420は、高出力光源(例えばLED)421及び第1励起フィルタ422を含む。各第2高出力蛍光照明光源430は、高出力光源(例えばLED)431及び第2励起フィルタ432を含む。第1励起フィルタ422は、第1波長範囲の励起光を通過させて他の波長を阻止する。第2励起フィルタ432は、第2波長範囲の光を通過させて他の波長を阻止する。この例では、MWBシステム400の撮像装置は、デュアルバンド発光フィルタ(図示せず)を対物レンズ間に有する。対物レンズ間のデュアルバンド発光フィルタ(図示せず)は、第1波長範囲及び第2波長範囲の励起光を遮光する。上記蛍光撮像方法の期間中には、MWBシステム400の高出力光源(例えばLED)421が点灯されて、各撮像装置のイメージセンサは、対応するウェル内の試料の第1モノクローム蛍光画像を取得する。この第1蛍光画像は、第1波長範囲によって活性化された試料中のフルオロフォアからの発光に基づく。蛍光撮像プロセス中の他の時刻には、MWBシステム400の高出力光源(例えばLED)431が点灯されて、各撮像装置のイメージセンサは、対応するウェル内の試料の第2モノクローム蛍光画像を取得する。この第2蛍光画像は、第2波長範囲によって活性化された試料中のフルオロフォアからの発光に基づく。MWBシステム400は、プロセッサを用いて、第1及び第2モノクローム蛍光画像を第1及び第2カラー蛍光画像に変換して、これらの第1及び第2蛍光画像からのデータをオーバーレイして二色蛍光画像を生成する。
図4Aは、デュアルバンドの実施形態によるMWBシステム500の概略図である。MWBシステム500の構成要素の一部は、図3Bに関して説明したものと同様である。図示するMWBシステム500は、単一の本体502内に配置された6つの同じ撮像装置で構成されて、6ウェル・プレート内にある全6つのウェル内の試料を撮像することを可能にする。図4Bは、一実施形態による、図4Aに示すMWBシステム500の一部の構成要素の概略図である。この図では、構成要素の一部は、その内側の構成要素が見えるように、透明であるように図示している。MWBシステム500は、リボンケーブルの形態の接続部505を可変照明光源とプロセッサとの間に含む。
撮像装置501の各々は、第1波長範囲の励起光を与えるための第1高出力蛍光照明光源520、及び第2波長範囲の励起光を与えるための第2高出力蛍光照明光源530を含む。高出力蛍光照明光源520及び高出力蛍光照明光源530は、撮像される試料を有するウェルの側部から励起光を与えるように設置されている。高出力蛍光照明光源520及び530は、ウェルの底部内面の平面からある角度をなして配置されている。この角度は、強力な非散乱励起光の受光を防止するために、第1対物レンズの開口数(NA)外である。高出力蛍光照明光源520及び高出力蛍光照明光源530は、励起光を概ねウェルの中心に指向させるように配向されている。各高出力照明光源520は、1つ以上の高出力光源(例えばLED)及び第1励起フィルタを含む。各高出力蛍光照明光源530は、1つ以上の高出力光源(例えばLED)及び励起フィルタを含む。第1励起フィルタは、第1波長範囲の励起光を通過させて他の波長を阻止する。第2励起フィルタは、第2波長範囲の光を通過させて他の波長を阻止する。この例では、MWBシステム500の撮像装置は、デュアルバンド発光フィルタ(図示せず)を各撮像装置の対物レンズ間に有する。対物レンズ間のデュアルバンド発光フィルタ(図示せず)は、第1波長範囲及び第2波長範囲の励起光を遮光する。上記蛍光撮像方法の期間中には、第1高出力蛍光照明光源520の高出力光源(例えばLED)が点灯されて、イメージセンサは、上記6つのウェル内の各試料の第1蛍光画像を取得することができる。この第1蛍光画像は、第1波長範囲によって活性化された試料中のフルオロフォアからの発光に基づく。蛍光撮像方法の期間中の他の時刻には、第2高出力蛍光照明光源530の高出力光源(例えばLED)が点灯されて、イメージセンサは、上記6つのウェル内の各試料の第2蛍光画像を取得することができる。この第2蛍光画像は、第2波長範囲によって活性化された試料中のフルオロフォアからの発光に基づく。MWBシステム500は、プロセッサを用いて、第1及び第2モノクローム蛍光画像を第1及び第2カラー蛍光画像に変換して、第1及び第2カラー蛍光画像からのデータをオーバーレイして二色蛍光画像を生成する。
MWBシステム500は、コントローラ504を有する回路基板または他の絶縁体基板503も含む。上記可変照明光源は、回路基板503上または回路基板503内に電気的かつ物理的に結合することができる。可変照明光源の導電リード線は、回路基板503の第1面または上面上にプリントされるか、さもなければ堆積された導電トレースを介してコントローラ504に電気結合することができ、その間に、可変照明光源の発光部を、回路基板503の第2面または下面から離れるように光学系に向けて光を放射するように配向することができる。図示する実現では、コントローラ504は、可変照明光源と同じ回路基板503上に実装されている。他の一部の実現では、コントローラ504を、回路基板503に電気接続された別個の回路基板上に実装することができる。
図5は、一実施形態によるMWBシステム550の写真である。MWBシステム550は、図1に示す培養器12のような培養器内に配置された様子を示している。MWBシステム600は、本体、及び6ウェル・プレートの上方に距離をおいて配置されたLEDマトリクスの形態の可変照明光源を有する。MWBシステム550は、高出力LEDモジュールとプロセッサ及び/または電源との間の電気接続部を含む。MWBシステム550のサイズは、6ウェル・プレート及び高出力LEDモジュールを含めて125mm(幅)×133mm(長さ)×170mm(高さ)である。図示する例では、本体はMakerbot社製の3D(三次元)プリンタを用いてプリント(作製)されている。
このMWBシステムの特定構成要素は、他の構成要素及び/または1つ以上のプロセッサと電子通信する。これら種々の構成要素間の電子通信は、有線及び/または無線形式にすることができる。例えば、図4Aは、MWBシステム500の可変照明光源110へのリボンケーブルの形態の電気接続部505を示す。
特定の態様によれば、培養システムまたはMWBシステムが、1つ以上のプロセッサ及び1つ以上のコンピュータ可読媒体(CRM)を含む。一部の場合には、ディスプレイも含む。例えば、図2Dは、プロセッサ180、コンピュータ可読媒体(CRM)184、及び随意的な(点線で表す)ディスプレイ182を有するMWBシステム100を示す。このプロセッサは、CRMと電子通信し、そして随意的に可変照明光源及び/または高出力蛍光照明光源と電子通信して、制御信号を送信する。例えば、制御信号を、可変照明光源及びイメージセンサに送信して、順次照射される照明をイメージセンサの露光(サンプリング)時刻と同期させることができる。
CRMはプロセッサと電子通信して、データを記憶し読み出す。随意的なディスプレイは、プロセッサと電子通信して、画像及び他のデータを表示するための表示データを受信する。一部の態様では、プロセッサ、随意的なディスプレイ、及びCRMが、例えばスマートホン、ラップトップ・コンピュータ、デスクトップ・コンピュータ、タブレット、等のようなコンピュータ装置の構成要素である。図示する例に関しては、単一のプロセッサ及び単一のCRMを記載しているが、複数のプロセッサ及び/または複数のCRMを用いることができる。
上記プロセッサ(例えば、マイクロプロセッサ)は、CRM上に記憶された命令を受信し、これらの命令を実行して、1つ以上のMWBシステム及び/または培養システムの1つ以上の機能を実行する。プロセッサの例は、例えば、1つ以上の汎用プロセッサ(CPU:central processing unit:中央演算装置)、特定用途向け集積回路(ASIC:application specific integrated circuit)、フィールド・プログラマブル・ゲート・アレイ(FPGA:field-programmable gate array)のようなプログラマブル・ロジック・デバイス(PLD:programmable logic device)、または1つ以上のCPU、ASIC、PLD並びにメモリ及び種々のインタフェースを含むシステム・オン・チップ(SoC:system-on-chip)を含む。上記プロセッサは、イメージセンサから画像データを受信するように構成されている。一例では、上記プロセッサが命令を実行して、FP再構成プロセス及び/またはFP撮像方法の他の動作を実行する。他の例では、上記プロセッサがCRM上に記憶された命令を実行して、制御信号を可変照明光源に送信して、順次照射される照明用の離散した発光素子を順次発光させ、及び/または、CRM上に記憶された命令を実行して、制御信号をイメージセンサに送信して、露光時間全体にわたって強度を測定してRAW強度測定値(画像)を取得する。他の例では、上記プロセッサがCRM上に記憶された命令を実行して、例えば次のようなシステムの1つ以上の他の機能を実行する:1)取得した一連の強度画像からの画像データを解釈する、2)取得した一連の強度画像からのデータから、より高分解能の画像を再構成する、3)蛍光画像を生成する、4)第1波長範囲に関連する第1蛍光画像に第2波長範囲に関連する第2蛍光画像をオーバーレイすることによって、デュアルバンド蛍光画像を生成する、及び/または、5)1つ以上の画像または他の出力をディスプレイ上に表示する。
1つの態様では、上記プロセッサが、制御命令を有する信号を1つ以上のMWBシステムの構成要素に送信してシステムの1つ以上の機能を実行するコントローラの一部分である。1つの場合には、このコントローラが1つ以上のMWBシステムの電源構成要素を含むこともできる。一例では、コントローラが、可変照明光源、蛍光照明光源、及び/またはイメージセンサの動作を制御する。1つの場合には、このコントローラが、例えば、光源のうちの特定のものまたは部分集合のみが、種々の画像取得期間中の特定時刻に特定の持続時間だけ種々の照明パターンを形成することを可能にすることによって、可変照明光源内の光源により順次照射される照明を制御する。このコントローラは、少なくとも1つの内部メモリ装置とも通信する。この内部メモリ装置は、プロセッサで実行可能なコード(または命令)を記憶するための不揮発性メモリアレイを含むことができ、これらのコード(または命令)は、プロセッサが読み出して、本明細書中に記載した種々の機能または動作を実行して、画像データに対する種々の演算またはMWBシステムの他の機能を実行することができる。この内部メモリ装置は、RAW画像データ及び/または処理済み画像データ(FP再構成された画像及びRAW強度画像を含む)を記憶することもできる。一部の実現では、この内部メモリ装置または別個のメモリ装置が、実行される命令並びに処理、記憶、または表示される画像データを一時的に記憶するための揮発性メモリアレイを追加的に、あるいは代わりに含むことができる。一部の実現では、上記コントローラ自体が揮発性メモリを含むことができ、一部の実現では不揮発性メモリも含むことができる。
上記MWBシステムは、一般に、イメージセンサから画像データを受信するように構成された1つ以上のプロセッサを実装する。一部の実現では、このプロセッサがCRM上に記憶された命令を実行して、高分解能画像を生成し、画像をリフォーカスし、及び/または収差補正するためのFP撮像プロセスのような1つ以上の処理動作を実行する。一部の実現では、上記1つ以上のプロセッサが、RAW画像データまたは処理済画像データを通信インタフェース(例えば、図4A及び4B中のリボンケーブル505)上に出力するように構成されているかユーザにより構成可能である。実際に、一部の実現では、MWBシステムの動作のうちの1つ以上をこうした外部コンピュータ装置によって実行することができる。一部の実現では、上記プロセッサを、RAW画像データ並びに処理済み画像データを、外部メモリ装置またはシステムに記憶するために通信インタフェース上に出力するように構成するかユーザにより構成可能にすることもできる。このネットワーク通信インタフェースを用いて、ソフトウェアまたはファームウェアの更新のような情報、あるいはダウンロード用の他のデータを受信することもできる。一部の実現では、MWBシステムが、例えば種々のユニバーサル・シリアル・バス(USB)インタフェースのような1つ以上の他のインタフェース、あるいは他の通信インタフェースをさらに含む。こうした追加的なインタフェースを用いて、例えば、種々の周辺機器及び有線キーボードまたはマウスのような入力/出力(I/O:input/output)装置を接続するか、あるいは、種々の無線接続可能な周辺機器を無線接続するに当たり使用するドングルを接続することができる。こうした追加的なインタフェースは、例えばリボンケーブルに接続するためのインタフェースのようなシリアル・インタフェースを含むこともできる。MWBシステムの構成要素のうちの1つ以上は、適切なインタフェース及びケーブルのうち特に、例えばUSBインタフェース及びケーブル、リボンケーブル、イーサネット(登録商標)ケーブルのような種々の適切なインタフェース及びケーブルのうちの1つ以上を通して上記コントローラと通信するように電気結合することができることも明らかである。
一部の実現では、イメージセンサが出力するデータ信号を、プロセッサに伝達する前に、マルチプレクサ、シリアライザ、またはイメージセンサの他の電気構成要素によって、多重化、シリアル化、さもなければ合成することができる。こうした実現では、プロセッサは、デマルチプレクサ、デシリアライザ、またはイメージセンサの各々から画像データを分離するための他の装置または構成要素をさらに含むことができ、これにより、試料ウェル毎の画像フレーム(強度分布測定値)を並列に処理することができる。
CRM(例えばメモリ)は、1つ以上のMWBシステム及び/または培養システムの特定機能を実行するための命令を記憶することができる。これらの命令はプロセッサによって実行可能である。CRMは、一連の(低分解能)強度測定値、蛍光画像、及び上記撮像方法に関連する他のデータを記憶することもできる。
随意的なディスプレイは、プロセッサと電子通信して、例えば培養システムのオペレータ(操作員)に対してディスプレイ上に表示するための表示データを受信する。一般に、ディスプレイはカラーディスプレイである。
多数の例では、MWBシステムを培養器内に実現されるものとして説明しているが、MWBシステムは他の環境内でも実現することができる。1つの態様では、MWBシステムをクリーンルーム内に実現することができる。他の態様では、MWBシステムを製造設備内に実現することができる。
III.フーリエ・タイコグラフィー(FP)明視野撮像及び蛍光撮像のための撮像方法
MWBシステムは、FP技術を用いてマルチウェル・プレート内の試料の各々の分解能を向上させた明視野像を生成する(FP撮像プロセス)ことができると共に、各試料の蛍光画像を生成する(蛍光撮像プロセス)ことができる撮像方法を実現する。
FP撮像プロセスは、一般に、RAW画像取得(データ収集)プロセス及びFP再構成プロセスを含む。FP画像取得プロセス中には、可変照明光源がn通りの異なる照射角から平面波照明を与える間に、イメージセンサが一意的な照明によるn個の強度の明視野像を取得する。各画像取得(サンプル)時刻に、イメージセンサは、単一の照射角に関連する一意的な照明による強度画像を取得する。FP画像取得プロセス中に、照明シーケンス(配列)内の各発光素子(例えば、1つ以上のLED)が点灯して、イメージセンサは、試料を通過する光から強度分布を記録して、n通りの異なる照射角に関連する一連の強度画像(即ち、一意的な照明による強度画像)を取得して保存する。FP再構成プロセスを用いて低分解能画像どうしを組み合わせて、試料の高分解能複合画像を生成する。FP再構成プロセスの例の詳細は非特許文献7に記載され、その全文を参照する形で本明細書に含める。
画像取得プロセス中には、可変照明光源を用いて試料をn通りの一連の照射角で照射する。画像取得プロセス中には、光学系が可変照明光源から試料を通過する光をフィルタ処理して、一意的な照明によるn個の強度画像を取得する。FP再構成プロセス中には、n個の強度画像をフーリエ領域内で反復的に組み合わせて、より高分解能の画像データを生成する。各反復では、特定の平面波入射角についてフーリエ領域内でフィルタを適用し、逆フーリエ変換を適用してより低分解能の画像を生成し、より低分解能の画像の強度を強度測定値に置き換え、フーリエ変換を適用し、そしてフーリエ空間内の対応する領域を更新する。
再構成プロセスは、角度ダイバーシティを用いて試料の複合画像を復元する位相回復技術を用いる。この復元プロセスは、空間領域内で取得した既知の画像データの強化と、フーリエ領域内の固定制約とを交互させる。こうした位相回復による復元は、例えば、交互投影手順、問題の凸再公式化、または中間の非凸の変形法を用いて実現することができる。機械的手段によって試料を横方向に平行移動することを必要とする代わりに、再構成プロセスは、フーリエ領域内のスペクトル制約を変化させて、フーリエ通過帯域を単一の捕捉画像の通過帯域を超えるように拡張して、より高分解能の試料画像を復元する。
1つの態様では、FP撮像プロセスが、リフォーカス(伝搬)プロセスのような収差補正プロセスを含む。リフォーカス・プロセスは、試料がz=z0にある試料平面に配置され、光学素子の焦点面(焦平面)がz=0に位置する場合に有用であり得る。換言すれば、捕捉した試料の像は試料平面における像ではなく、光学素子の焦点面から−z0の距離だけ伝搬した試料のプロファイル(外形)である。これらの場合に、FP撮像プロセスは、画像データをz0の距離だけ試料平面へ戻すように伝搬させることによって、試料をz方向に機械的に移動させなければならないことなしに試料をリフォーカスする。このリフォーカス(伝搬)ステップは、フーリエ空間内で位相係数を乗算することによって実行することができる。
多重化の一実施形態では、各RAW画像の捕捉(露光期間全体にわたる強度分布の測定)中に、複数の発光素子(LED)を一意的なパターンで同時に点灯させることができる。多重化プロセスを用いて、各捕捉したRAW画像から照射角に関連する強度データを分離することができる。多重化プロセスの一例は、米国特許出願第14/960252号、発明の名称”MULTIPLEXED FOURIER PTYCHOGRAPHY IMAGING SYSTEMS AND METHODS”、2015年12月4日出願(特許文献1)に見出すことができ、その全文を参照する形で本明細書に含める。
蛍光画像プロセスは、一意的な波長範囲の蛍光照明毎に蛍光画像を生成するステップを含む。蛍光撮像プロセス中に、高出力蛍光照明光源を点灯させて、イメージセンサによってモノクローム蛍光画像を取得する。プロセッサは、モノクローム蛍光画像からの画像データを用いてカラー蛍光画像を生成することができる。マルチバンド、マルチチャネルの実施形態では、高出力蛍光照明光源の各々を別個に点灯させて、蛍光照明毎に別個のモノクローム蛍光画像を取得する。この場合、上記蛍光撮像プロセスは、複数のカラー蛍光画像をオーバーラップさせる命令を実行して単一の多色蛍光画像を生成するステップをさらに含む。
上記フーリエ・タイコグラフィー再構成プロセスは、RAW強度画像どうしを空間周波数領域内の適正な位置にまとめ合わせるために、可変照明光源により順次照射されるFP照明に関連する正確な照射方向情報を必要とする。MWBシステムの本体は可変照明光源から分離されているので、正確なFP再構成のためには、イメージセンサに対する発光素子の位置を較正するための較正プロセスが存在する必要がある。この構成プロセスは、例えば、MWBシステムの上方にある水平棚にLEDマトリクスを設置した培養器内にMWBシステムを設置する際のように、MWBシステムをイメージセンサに対して配置または再配置する際に必要である。
図6は、可変照明光源の離散した発光素子(LED)の位置をイメージセンサの各々に対して較正するための較正プロセスの動作を表すフローチャート600である。この較正プロセスは、MWBシステムを可変照明光源に対して配置または再配置する際に用いる。
動作621では、可変照明光源の中心発光素子(例えばLED)を照射する。例えば、可変照明光源を複数のMWBシステム間で共用する場合、可変照明光源のある領域内の発光素子が特定のMWBシステムにFP照明を与える。この場合、FP照明を与えるために使用する領域の中心発光素子を照射する。単一の可変照明光源を用いてMWBシステム用のFP照明を与える場合、この可変照明光源の中心発光素子を照射する。中心発光素子は、対物レンズの中心の最も近くに配置されたLEDである。この場合、イメージセンサから最も明るい画像を作り出す1つのLEDを照射する。最も明るい画像を作り出すLEDの位置は1つしか存在しない。そのLEDがイメージセンサに対する中心発光素子である。これらの動作はイメージセンサ毎に実行される。
一実施形態では、上記較正プロセスが、発光素子を順次点灯させて、発光素子の照明毎に画像を捕捉することによって中心発光素子を特定する。最高強度の画像は、捕捉した複数の画像から特定される。中心発光素子は、複数の発光素子による照明中に捕捉した最高強度の画像に基づいて特定される。
動作622では、中心発光素子(例えばLED)の照射中に、イメージセンサがビネット・モノクローム画像を捕捉する。この画像を白黒に変換する。発光素子とイメージセンサとの間にミスアライメント(位置不整合)が存在する場合、画像の中心をイメージセンサの中心からシフトさせる。動作623では、画像の中心を特定する。動作624では、画像の中心のシフトをx方向(xシフト)及びy方向(yシフト)について測定する。動作625では、画像のxシフト及びyシフトに基づいて、中心発光素子の変位を、検索表/プロット図を用いて測定する。検索表/プロット図は、xシフト及びyシフトの異なる値に関連する中心発光素子の異なる変位を提供する。一旦、中心発光素子の変位を検索表/プロット図から測定すると、可変照明光源内の当該発光素子に関連する照射角を、可変照明光源の幾何学的形状に基づいて決定することができる。動作626では、中心発光素子の変位を用いて、FP照明に関連するn通りの照射角を測定する。
図7Aは、一実施形態による、LEDマトリクスの中心LEDによる照明中に捕捉したモノクローム・ビネット画像である。図7Bは、図7Aの画像を変換した白黒版である。この例では、白黒画像の中心722がイメージセンサの中心723と同じ位置に存在し、LEDの位置がCMOSカメラのイメージセンサと良好に整合している。図7Cは、他の実施形態による、LEDマトリクスの中心LEDによる照明中に捕捉した画像である。この場合、中心LEDとイメージセンサとの間にミスアライメントが存在する。図に示すように、画像の中心732とイメージセンサの中心723との間にミスアライメントが存在する。この場合、x方向のシフト(画素シフトX)及びy方向のシフト(画素シフトY)が存在する。図7Dは、一実施形態による、イメージセンサの中心723に対する画像の中心732のxシフト及びyシフトに関連するLED変位の検索プロット図である。この例では、検索表は、LEDマトリクスをイメージセンサに対して既知の量だけ移動させて、LED変位に関連する画像の中心の異なるシフト量を測定することによって作成されている。
図8は、複数の実施形態による、MWBシステムの1つ以上の撮像装置の各々によって実現される撮像方法の動作を表すフローチャート800である。MWBシステムの複数の撮像装置が撮像方法を並列に実行することができる。1つの態様では、撮像方法が、MWBシステムのイメージセンサにより可変照明光源の位置を較正する随意的な動作(点線で表す)から、その最初の撮像実行を開始する。較正プロセスの一例は、図6のフローチャート600に関して説明している。この撮像方法は、蛍光撮像プロセス及び/またはFP高分解能明視野撮像プロセスを実行する。この撮像方法は、例えば周期的なベースで反復する。1つの態様では、撮像方法の各実行が、蛍光撮像プロセス及びFP高分解能明視野撮像プロセスを含む。
蛍光撮像プロセスを実行する場合、撮像方法は動作830ヘ進む。動作830では、第1高出力蛍光照明光源が第1波長範囲の励起光を与える。第1高出力蛍光照明光源は、高出力光源(例えば高出力LED)、及び第1波長範囲の励起光を通過させて他の波長を阻止する励起フィルタを含む。第1波長範囲の励起光は試料の中心に指向される。試料中のフルオロフォアが励起光によって活性化されて、他の波長範囲の光(放射)(例えば、青色、緑色、または赤色の光)を発光する。励起光はこの放射よりも強いので、第1高出力蛍光照明光源は、MWBシステムの光学系の第1集光対物レンズに直接対向する。
動作835では、第1集光対物レンズが試料から生じる光を受光する。第1集光対物レンズと第2集光対斑レンズとの間にある発光フィルタが、第1波長範囲のあらゆる励起光を遮光して、上記放射を第2集光対物レンズに渡す。第2集光対物レンズはこの放射を受光して、MWBシステムのイメージセンサに焦点を結ぶように集束させる。動作840では、第1高出力蛍光照明光源による蛍光照明中に、イメージセンサが第2集光対物レンズからの放射を受光して、モノクローム蛍光強度画像を取得する。このモノクローム蛍光画像の画像データはカラー蛍光画像に変換することができる。
マルチバンド、マルチチャネルの実施形態については、動作830、835及び840をバンド毎に反復する。デュアルバンドの実施形態については、例えば、第2高出力蛍光照明光源が第2波長範囲の励起光を与える(動作830)。第2高出力蛍光照明光源は、高出力光源(例えば高出力LED)、及び第2波長範囲の励起光を通過させて他の波長を阻止する励起フィルタを含む。第1集光対物レンズは、試料から生じる光を受光する(動作835)。デュアルバンドの実施形態では、上記発光フィルタが、第1波長範囲の励起光及び第2波長範囲の励起光を共に遮光するデュアルバンド・フィルタである。この場合、このデュアルバンド・フィルタは、第2波長範囲の励起光を遮光して上記放射を第2集光レンズに渡す。第2集光対物レンズは、この放射を受光してMWBシステムのイメージセンサに焦点を結ぶように集束させる。このイメージセンサは、第2高出力照明光源による蛍光照明中に第2集光対物レンズからの放射を受光して、第2モノクローム蛍光強度画像を取得する(動作840)。
上記撮像方法は、マルチバンド、マルチチャネルの実施形態のための随意的な動作845(点線で表す)を実行する。マルチバンド、マルチチャネルの実施形態では、複数のカラー蛍光画像どうしをオーバーレイして多色蛍光画像を生成することができる。1つの態様では、動作845の後に、上記撮像方法は、反復の前に、表示データを有する信号をプロセッサからディスプレイに送信して、カラー蛍光画像または他のデータをディスプレイ上に表示するステップをさらに含むことができる。動作845の後に、上記撮像方法は、蛍光撮像プロセスまたはFP高分解能明視野撮像プロセスの実行を反復する。
FP撮像プロセスを実行する場合、上記撮像方法は動作860へ進む。FP撮像プロセスは、一般に、画像取得プロセス(動作660、670、及び680)及びFP再構成プロセス(ステップ690)を含む。
動作860では、可変照明光源が、平面波照明によりn通りの照射角で試料を順次に照射する。1つの態様では、可変照明光源が、発光素子(LED)を照射する順序を定める照射命令に基づいて順次照射される照明を与える。
動作870では、上記光学系が試料から生じる光を集光してイメージセンサへ伝搬させる。光学系の第1対物レンズは、可変照明光源から試料を通過する光を集光する。一部の場合には、可変照明光源からの光が、第1対物レンズと第2対物レンズとの間にある発光フィルタを通過する波長範囲の光である。これらの場合には、FP撮像プロセス中に発光フィルタを除去する必要がない。第2対物レンズは発光フィルタからの光を受光して、この光をイメージセンサに焦点を結ぶように集束させる。上記光学系の第1対物レンズは、FP照明中に可変照明光源から試料を通過する光を受光する。第1対物レンズは、その開口数により、第1角度範囲の光を受け入れる(フィルタ処理する)。フーリエ空間内では、第1対物レンズのフィルタ処理機能は、NA×k0の半径を有する円形瞳孔によって表され、ここにk0=2π/λは真空中の波数である。FP撮像プロセスは、フーリエ空間内で、第1対物レンズのこうしたフィルタ処理機能及び上記n通りの照射角によって規定される円形領域を更新する。
動作880では、上記光学系によって伝搬される光をイメージセンサが受光する。n通りの照射角で順次照射されるFP照明中に、イメージセンサは、異なる照射角に関連する一意的な照明によるn個の強度測定値(画像)を取得する。イメージセンサは、露光時間中に強度分布を測定して強度測定値(画像)を取得する。MWBシステムのプロセスは、一意的な照明によるn個の強度測定値(画像)からのデータを有する信号を受信する。
動作890では、MWBシステムのプロセッサが、上記撮像方法を用いて、一意的な照明によるn個の強度測定値(画像)によりフーリエ空間内の領域を反復的に更新することによって、分解能を向上させた画像を再構成する。このプロセッサは、FP再構成プロセスを用いて、分解能を向上させた画像を再構成する。FP再構成プロセスの2例を、図9及び図10に関して詳細に説明する。1つの態様では、動作890の後に、上記撮像方法は、反復の前に、画像データをプロセッサからディスプレイへ送信して、高分解能明視野像または他のデータをディスプレイ上に表示するステップをさらに含むことができる。動作890の後に、上記撮像方法は、蛍光撮像プロセスまたはFP高分解能明視野撮像プロセスの実行を反復する。
1つの態様では、上記プロセッサが、蛍光撮像プロセスによって生成した蛍光画像とFP撮像プロセスによって生成した高分解能明視野像とをオーバーレイすることによって、試料の蛍光画像と高分解能明視野像との合成画像を生成する。他の態様では、上記プロセッサが、蛍光撮像プロセスによって生成した蛍光画像とFP撮像プロセスの取得プロセス中に捕捉した低分解能明視野像とをオーバーレイすることによって、試料の蛍光画像と低分解能明視野像との合成画像を生成する。他の態様では、上記プロセッサが、FP撮像プロセスにおける位相データに基づいて、試料の高分解能位相画像を生成する。
1つの態様では、MWBシステムが、上記撮像方法を微速度撮影または他の長期撮像向けに実行することができる。例えば、上記撮像方法は、例えば1時間間隔、2時間間隔、1日間隔、等のような間隔で各回の実行を反復することができる。上記撮像方法は、各回の撮像の実行を、設定期間(例えば、1週間、2週間、1ヶ月、2ヶ月、等)の間隔で継続することができ、あるいは、オペレータが撮像方法を停止するまで継続することができる。この長期の撮像が継続する間に、MWBシステムを培養器内に配置することができる。
FP再構成プロセス
FP再構成プロセスの特定の詳細は、非特許文献4、及び米国特許出願第14/065280号、発明の名称”Fourier Ptychographic Imaging Systems, Devices, and Methods”、2013年10月28日出願(特許文献2)に見出すことができる。FP再構成プロセス中に、フーリエ空間内のオーバーラップ領域を低分解能強度画像データで反復的に更新して、分解能を向上させた画像を生成する。
910、920、930、940、950、960、及び970の反復動作では、MWBシステムのプロセッサを用いて、低分解能強度測定値をフーリエ空間内で組み合わせることによって、試料の高分解能画像を再構成する。随意的な動作920及び940は、試料がz0なる量だけ焦点から外れている場合に実行することができる。
動作960では、上記プロセッサが、一意的な照明によるn個の低分解能強度画像のすべてについて動作1510〜1560を完了したか否かを判定する。すべての画像について動作1510〜1560を完了していなければ、次の画像について動作1510〜1560を反復する。
動作970では、上記プロセッサが、高分解能の解が収束したか否かを判定する。一例では、プロセッサが、高分解能の解が自己無撞着(セルフコンシステント)な解に収束したか否かを判定する。1つの場合には、プロセッサが、前回の反復における前回の高分解能の解または上記初期推定値を現在の高分解能の解と比較し、その差が特定値未満であれば、現在の解を自己無撞着な解に収束したものと判定する。動作970において、解が収束していないものとプロセッサが判定した場合、動作910〜960を反復する。一実施形態では、動作910〜960を1回反復する。他の実施形態では、動作910〜960を2回以上反復する。解が収束すれば、プロセッサは、フーリエ空間内で収束した解を空間領域に変換して、分解能を向上させた画像
を復元して、FP再構成プロセスを終了する。
動作1005、1010、1030、1045、1050、1060、及び1070の反復動作では、NWBシステムのプロセッサを用いて、低分解能の強度測定値をフーリエ空間内で組み合わせることによって、試料の高分解能画像をコンピュータで再構成する。
動作1060では、上記プロセッサが、一意的な照明によるn個の低分解能強度画像のすべてについて動作1005〜1050を完了したか否かを判定する。すべての画像について動作1005〜1050を完了していなければ、次の画像について動作1005〜1050を反復する。
動作1070では、上記プロセッサが、高分解能の解が収束したか否かを判定する。一例では、プロセッサが、高分解能の解が自己無撞着な解に収束したか否かを判定する。1つの場合には、プロセッサが、前回の反復における前回の高分解能の解または上記初期推定値を現在の高分解能の解と比較し、その差が特定値未満であれば、現在の解を自己無撞着な解に収束したものと判定する。解が収束していないものとプロセッサが判定した場合、動作1005〜1070を反復する。一実施形態では、動作1005〜1070を1回反復する。他の実施形態では、動作1005〜1070を2回以上反復する。解が収束すれば、プロセッサは、フーリエ空間内で収束した解を空間領域に変換して、高分解能画像
を復元して、FP再構成プロセスを終了する。
特定の態様では、画像毎に反復的に更新された、フーリエ空間内で隣接する領域どうしがオーバーラップする。更新された領域どうしがオーバーラップする領域では、MWBシステムが同じフーリエ空間上で複数回のサンプリングを行っている。1つの態様では、隣接する領域どうしがオーバーラップする領域が、隣接する領域の一方の面積の2%〜99.5%の面積を有する。他の態様では、隣接する領域どうしがオーバーラップする領域が、隣接する領域の一方の面積の65%〜75%の面積を有する。他の態様では、隣接する領域どうしがオーバーラップする領域が、隣接する領域の一方の面積の約65%の面積を有する。
IV.MWBシステムの実例
図11Aは、4X/NA0.1対物レンズを有する従来型顕微鏡で平面照明により撮影したUSAF(United States Air Force:米国空軍)ターゲットの画像である。図11Bは、一実施形態による、1:1の結像構成を有するMWBシステムによって撮影したUSAFターゲットのRAW強度画像である。このRAW強度画像は、中心のLED照明(即ち、USAFターゲットの中心の上方に配置されたLED)に基づいている。両方の場合に、解像可能な最小の特徴はグループ7、要素5(2.46μmの線幅)である。このことは、MWBシステムが、1:1の結像構成における第1対物レンズの開口数によって提供される全視野を有することを示している。
図11Cは、一実施形態による、MWBシステムによって実現されるFP撮像プロセスによって生成したUSAFターゲットの高分解能明視野像を含む。この高分解能画像は、FP構成プロセスの画像取得期間中に取得した169個のRAW画像(n=169)からのデータを組み合わせることによって生成した。これら169個のRAW画像は、LEDマトリクスの169個の異なるLEDを順次照射することによって取得した。169個の画像によるFP構成プロセスを用いて、MWBシステムの合成NAは0.42になり、MWBシステムの分解能は4倍増加しており、グループ9、要素5の特徴(0.62μmの線幅)を解像している。図11Cは、分解能を向上させた明視野像1102の四角形内の領域の拡大画像1104も含む。
図12A、12B、12Cでは、4.5μmの緑色蛍光ビーズと非蛍光体のビーズの混合物を試料に追加している。図12Aは、一実施形態による、MWBシステムを用いて取得した低分解能明視野像と蛍光画像とのオーバーレイ画像である。試料のRAW明視野像は、MWBシステムによって実現される撮像方法のFP画像取得プロセス中に取得した。蛍光画像は、この撮像方法の蛍光撮像プロセス中に生成した。図12Aでは、矢印が緑色蛍光ビーズを指し示す。
図12Bは、一実施形態による、MWBシステムによって実現される撮像方法のFP撮像プロセスを用いて生成した高分解能明視野像である。図12Cは、一実施形態による、MWBシステムによって実現される撮像方法のFP撮像プロセスを用いて生成した再構成された位相画像である。図に示すように、蛍光ビーズはその蛍光信号によって非蛍光ビーズと明確に区別可能である。互いに付着した2個のビーズは、図12B及び12Cの再構成された強度画像及び位相画像から解像され、図12Aの蛍光画像は、ビーズのうちのどれが蛍光ビーズであるかについての情報を与える。1つの態様では、MWBシステムを用いて、特定の蛍光体としてラベル付けされるか特定の蛍光体を表すターゲットを識別するための蛍光画像、及び回折限界のあるターゲットの蛍光画像を補償するための分解能を向上させたFP再構成画像を生成することができる。
試料の強度及び位相情報を含む複素数体を、非特許文献10に記載された反復(逐次)的なFP再構成プロセスによってレンダリングすることができ、非特許文献10は、この説明のために参照する形で本明細書に含める。位相情報の定量的な精度を検証するために、次式2を用いて、再構成した位相情報をビーズの厚さに変換することができる:
ここに、Tはビーズの厚さであり、λは光の波長であり、Δφは背景位相に対する位相であり、Δnは試料と背景との屈折率差である。図12A、12B、及び12Cでは、ポリスチレン・ビーズ(n=1.58)が油(n=1.515)内に浸漬され、緑色LED(530nm)を照明用に用いている。図12Cに示す直線形状を変換して図12Dに示す。図12Dは、再構成された位相画像上のビーズの、図12C中に示す直線上の厚さをプロットした図である。再構成された位相画像は、MWBシステムによって実現される撮像方法のFP再構成プロセスによって生成した。測定値の曲線は、理想的な球体の想定されるプロファイルと極めて一致し、FPM(FP method:FP法)で再構成したMWBシステムの位相情報を示す。
1つの態様では、MWBシステムがFP再構成プロセスをデジタル・リフォーカス用に用いることができる。デジタル・リフォーカスは、システムのゆらぎまたはマルチウェル・プレートのミスアライメントにより生じる画像のデフォーカスによって何日間または何週間の実験を無駄にすることがある生細胞の撮像において特に有用である。非特許文献4に記載されているように、FPM再構成中に、空間周波数領域内のサポート制約中に二次のデフォーカス位相項を導入することによって、デフォーカスしたRAW画像をデジタル処理で再リフォーカスすることができる。
MWBシステムのリフォーカス性能を特性化するために、USAFターゲットを意図的にデフォーカスして、FP再構成プロセス中にデジタル処理でリフォーカスした。図13Aは、z=+100μmにあるUSAFターゲットのデフォーカスした画像である。図13Bは、一実施形態による、図13Aに示す画像をデジタル処理でリフォーカスした画像であり、MWBシステムによって実現される撮像方法のFP再構成プロセス中にデジタル処理でリフォーカスしている。図14Aは、z=−100μmにあるUSAFターゲットのデフォーカスした画像である。図14Bは、一実施形態による、図14Aに示す画像をデジタル処理でリフォーカスした画像であり、MWBシステムによって実現される撮像方法のFP再構成プロセス中にデジタル処理でリフォーカスしている。図13B及び14B中の画像によって例示されるように、±100μmのデフォーカス範囲内では、MWBシステムが試料を良好にリフォーカスしている。
図15は、一実施形態による、図13B及び14Bに示す解像可能な最小の特徴の直線軌跡のプロット図である。図15には、焦点を合わせた試料及びz=±100μmだけデフォーカスした試料の場合に解像される最小の特徴についての直線軌跡を示す。すべての場合において、3本の暗線が直線軌跡と明確に区別され、このことはMWBシステムの被写界深度(DOF:depth-of-field)が約200μmであることを示す。
図16Aは、デフォーカスしたニューロン培養試料の画像である。図16Bは、一実施形態による、MWBシステムによって実現される撮像方法のFPM再構成を用いてデジタル処理でリフォーカスした位相画像である。図16A及び16Bの例で用いた試料は、撮像のためにパラホルムアルデヒド(PFA:paraformaldehyde)で固定され、リン酸緩衝食塩水中に浸漬させた。
図17は一実施形態による、MWBシステムによって生成した大視野像を示す。画像1722及び1728は、蛍光画像とオーバーレイしたRAW画像である。画像1724及び1730は、画像1722及び1728に対応する再構成された位相画像である。画像1722及び1728は、蛍光画像とオーバーレイしたRAW画像である。画像1726及び1732は、画像1722及び1728に対応する2チャネルの位相勾配画像である。
図17中の画像1720に示すように、MWBシステムの1つの撮像装置の全視野は5.7mm×4.3mmである。撮像した試料は、元々、eGFP(enhanced green fluorescent protein:高感度緑色蛍光タンパク質)を表現するように操作したドーパミン作動性(DA:dopaminergic)ニューロンを有する種子であった。図17中の画像1720に示す視野内で観測したeGFP信号により、15個のDAニューロンを識別した。画像1722、1724、1726、1728、1730、及び1732は、2つの代表的なDAニューロンのものである。図17の画像1722及び1728中に示すように、これらのDAニューロンからのeGFP蛍光信号強度は、標的細胞を識別するのに十分なほど強力であった。図17の画像1724及び1730は、視野の中心からそれぞれ2.3mm及び1.9mmの距離の、FPMで再構成した画像を示す。図17の画像1726及び1732は2チャネルの位相勾配画像を示し、これらは再構成された位相画像1724及び1730から生成した。これらの再構成された位相画像中の位相ラッピング(折り返し)によって生じるアーティファクト(画像1730中に矢印で示す)は、位相画像を位相勾配画像に変換することによって除去することができる。
MWBシステムを用いた生細胞培養体撮像の例を導き出すために、GENSAT(Gene Expression Nervous System ATlas:プロジェクト名)チロシン・ヒドロキシラーゼ(チロシン水酸化酵素)(TH:tyrosine hydroxylase)−eGFP系統の、THプロモーターからeGFPを駆動するBAC(Bacterial Artificial Chromosome:細菌人工染色体)トランスジェニック(遺伝子導入、形質転換)マウス細胞株からの中脳腹側部の試料を培養した。ニューロン−グリア中脳腹側部培養体の各々がグリア細胞の単層、TH−eGFPを生成するDAニューロン、及び他の中脳ニューロンから成る。この中脳腹側部培養体は、胎生14日目のマウス胎児から得たものであり、これらのマウス胎児は、時点を定めて妊娠したマウスから抽出した。これらのグリア細胞及び中脳ニューロンは6ウェル・プレート内で成長させ、培養器(培地)は、3週間の撮像期間にわたって3日間隔で交換した。MWBシステムを用いて、6ウェル・プレート内の培養体を3週間の期間にわたって撮像し監視した。MWBシステムは、FP撮像取得プロセス中に、n個の一連の低分解能明視野強度画像を各ウェルから1時間間隔で捕捉した。蛍光撮像プロセスは、ウェル毎に1日1回実行した。図18は、一実施形態による、MWBシステムによって実現される撮像方法のFPプロセスによって生成した微速度撮影による一連の位相画像1810、1820、1830、及び1840である。位相画像1810、1820、1830、及び1840は、上述したマウス・ニューロン培養体のものである。位相画像1810、1820、1830、及び1840は、それぞれ4日目、7日目、10日目、及び16日目に撮影したものである。追跡中のDAニューロンは、eGFP蛍光信号を用いて良好に識別され、黄色い円で印を付けている。後続する各画像を比較することによって、前回のタイムフレーム(時間枠)における標的細胞との位置及びサイズの変化が最小である細胞を、現在のタイムフレームの標的細胞として選定した。1時間の微速度撮影では、この追跡方法は大部分の細胞について良好に機能した。標的細胞は、培養実験の期間中に追跡した。図19は、一実施形態による、MWBシステムによって生成した画像に基づいて追跡した標的細胞の位置軌跡をプロットした図である。
図20は、一実施形態による、MWBシステムによって実現される撮像方法のFPプロセスによって生成した微速度撮影による一連の画像2010、2020、2030、及び2040である。駆動細胞の微速度撮影を行うために、マウスの中脳腹側部培養体を、混合された初代混合培養体とした。21日間の培養実験中に、微速度撮影による画像2010、2020、2030、及び2040から活性駆動細胞が見出された。矢印で識別する2つの推定母細胞が娘細胞に分裂した。これらの細胞は、培養のおよそ14日目に分裂を開始した。こうした細胞分裂は、6ウェル・プレート内の6つのウェルの各々で観測された。
V.サブシステム
図21は、一実施形態による、特定のMWBシステム内に存在し得る1つ以上のサブシステムのブロック図である。プロセッサは、イメージセンサの構成要素とすることも別個の構成要素とすることもできる。
前の図面中に記載した種々の構成要素は、1つ以上のサブシステムを用いて動作して、本明細書中に説明した機能を促進することができる。図面中のあらゆる構成要素が、適切な任意数のサブシステムを用いて、本明細書中に説明した機能を促進することができる。こうしたサブシステム及び/または構成要素の例を図21に示す。図21に示すサブシステムは、システムバス2425を介して相互接続される。プリンタ2430、キーボード2432、固定ディスク2434(またはコンピュータ可読媒体を具えた他の記憶装置)、ディスプレイ・アダプタ2438に結合されたディスプレイ56、その他のような追加的なサブシステムを示す。周辺機器及び入力/出力(I/O)装置は、I/Oコントローラ2440に結合され、シリアルポート2442のような現在技術において既知の任意数の手段によって接続することができる。例えば、シリアルポート2442または外部インタフェース2444を用いて、コンピュータ装置の構成要素を、インターネットのような広域ネットワーク、マウス入力装置、またはスキャナに接続することができる。システムバス2425を介した相互接続は、プロセッサが各サブシステムと通信すること、及びシステムメモリ2446または固定ディスク2434からの命令の実行を制御すること、並びにサブシステム間での情報の交換を可能にする。一部の場合には、システムメモリ2446及び/または固定ディスク2434がCRMを具体化することができる。これらの要素のいずれも、前述した特徴内に存在することができる。
一部の実施形態では、フーリエ・カメラシステムのプリンタ2430またはディスプレイ182が種々の形式のデータを出力することができる。例えば、上記MWBシステムは、2D(two-dimensiional:二次元)カラー/モノクローム画像(強度及び/または位相)、これらの画像に関連するデータ、またはMWBシステムが実行する分析に関連する他のデータを出力することができる。
本発明の範囲から逸脱することなしに、上述した実施形態のいずれに対しても、修正、追加、または省略を行うことができる。本発明の範囲から逸脱することなしに、上述した実施形態のいずれも、より多数、より少数、または他の特徴を含むことができる。これに加えて、本発明の範囲から逸脱することなしに、上述した特徴のステップを任意の適切な順序で実行することができる。
上述した本発明は、モジュール様式または統合様式のコンピュータ・ソフトウェアを用いる制御論理回路の形態で実現することができることは明らかである。本明細書中に提供する開示及び技術に基づいて、通常の当業者は、ハードウェア及びハートウェアとソフトウェアの組合せを用いて本発明を実現する他の手段及び/または方法を認知し理解する。
本願中に説明したソフトウェア・コンポーネントまたは機能は、例えばJava(登録商標)、C++、またはPerl(登録商標)のような、例えば従来技術またはオブジェクト指向技術を用いるあらゆる適切なコンピュータ言語を用いた、プロセッサによって実行されるソフトウェア・コードとして実現することができる。このソフトウェア・コードは、一連の命令またはコマンドとして、ランダムアクセスメモリ(RAM:random access memory)、読出し専用メモリ(ROM:read only memory)、ハードディスク・ドライブまたはフロッピー(登録商標)ディスクのような磁気媒体、あるいはCD−ROM(compact disc read only memory:コンパクトディスク読出し専用メモリ)のような随意的な媒体といったCRM上に記憶することができる。こうしたCRMのいすれも、単一のコンピュータ装置上またはコンピュータ装置内に存在することができ、あるいは、システムまたはネットワーク内の異なるコンピュータ装置上またはコンピュータ装置内に存在することができる。
以上に開示した実施形態は、理解を促進するために幾分詳細に説明してきたが、説明した実施形態は例示的であり限定的ではないものと考えるべきである。添付した特許請求の範囲内で特定の変更または修正を実施することができることは、通常の当業者にとって明らかである。
本発明の範囲から逸脱することなしに、任意の実施形態からの1つ以上の特徴を、他の実施形態の1つ以上の特徴と組み合わせることができる。さらに、本発明の範囲から逸脱することなしに、いずれの実施形態に対しても、修正、追加、または省略を行うことができる。本発明の範囲から逸脱することなしに、特定の必要性に応じて、いずれの実施形態の構成要素も、統合または分離することができる。

Claims (34)

  1. 明視野フーリエ・タイコグラフィー撮像及び蛍光撮像用の撮像装置であって、
    第1波長範囲の励起光を透明なウェルに与えるように構成された第1蛍光照明光源と、
    対向して配置された一対の対物レンズを有する光学系と、
    前記透明なウェルから前記光学系を通して伝搬された光を受光するように構成されたイメージセンサとを具え、
    該イメージセンサは、可変照明光源から異なる照射角で順次照射される照明に基づいて、前記ウェル内の試料を通過する光の、一意的な照明による一連の強度測定値を取得するようにさらに構成され、
    前記イメージセンサは、前記試料が前記第1波長範囲の励起光に応答して発生する光に基づいて、前記試料の第1蛍光画像を取得するようにさらに構成されている、撮像装置。
  2. 前記試料の分解能を向上させた明視野像を反復的に決定するように構成されたプロセッサをさらに具え、該分解能を向上させた明視野像は、前記一意的な照明による一連の強度測定値と自己無撞着である、請求項1に記載の撮像装置。
  3. 前記試料の前記分解能を向上させた明視野像及び前記第1蛍光画像を、微速度撮影により周期的に決定する、請求項2に記載の撮像装置。
  4. 前記第1波長範囲の励起光と前記異なる照射角で順次照射される照明とを、異なる画像取得時刻に与える、請求項1に記載の撮像装置。
  5. 前記光学系が、前記対物レンズ間に発光フィルタを有して前記第1波長範囲の励起光を遮光するように構成されている、請求項1に記載の撮像装置。
  6. 前記可変照明光源からの照明が、前記発光フィルタの通過帯域内の波長範囲の照明である、請求項5に記載の撮像装置。
  7. 第2波長範囲の励起光を前記透明なウェルに与えるように構成された第2照明光源をさらに具え、
    前記イメージセンサは、前記試料が前記第2波長範囲の励起光に応答して発生する光に基づいて、前記試料の第2蛍光画像を取得するようにさらに構成され、
    前記プロセッサは、前記第1蛍光画像と前記第2蛍光画像とを組み合わせて、前記試料の多色蛍光画像を生成するようにさらに構成されている、請求項1に記載の撮像装置。
  8. 前記光学系が、前記対物レンズ間にデュアルバンド発光フィルタを有し、前記デュアルバンド発光フィルタは、前記第1波長範囲の励起光を遮光し、かつ前記第2波長範囲の励起光を遮光するように構成されている、請求項7に記載の撮像装置。
  9. 前記可変照明光源からの照明が、前記デュアルバンド発光フィルタの通過帯域内の波長範囲の照明である、請求項8に記載の撮像装置。
  10. 前記一対の対物レンズが第1対物レンズ及び第2対物レンズを具え、該第1対物レンズは、前記ウェルからの光を集光するように構成され、前記第2対物レンズは、前記光を前記イメージセンサに焦点を結ぶように集束させるように構成され、前記第1対物レンズ及び前記第2対物レンズが同じ開口数を有する、請求項1に記載の撮像装置。
  11. 前記対物レンズの各々が0.55未満の開口数を有する、請求項1に記載の撮像装置。
  12. 前記第1蛍光照明光源が、前記第1波長範囲の励起光を、前記透明なウェルの底面の平面に対して小さい角度で指向させ、かつ前記透明なウェルの中心に指向させる、請求項1に記載の撮像装置。
  13. 前記透明なウェルがマルチウェル・プレートである、請求項1に記載の撮像装置。
  14. 前記透明なウェルが6ウェル・プレートまたは12ウェル・プレートである、請求項1に記載の撮像装置。
  15. 前記透明なウェルが少なくとも20mmの幅を有する、請求項1に記載の撮像装置。
  16. フーリエ・タイコグラフィー撮像及び蛍光撮像用のシステムであって、
    マルチウェル・プレートを受けるように構成された本体と、
    前記マルチウェル・プレート内のウェルと1対1に対応するように配置された撮像装置とを具えたシステムにおいて、
    前記撮像装置の各々が、
    第1波長範囲の励起光を、対応する前記ウェルに与えるように構成された第1蛍光照明光源と、
    対向して配置された一対の対物レンズを有する光学系と、
    前記対応するウェルから受光した光に基づいて強度測定値を捕捉するように構成されたイメージセンサとを具え、
    前記システムは、可変照明光源によって異なる照射角で順次照射される照明中に取得した、一意的な照明による一連の前記強度測定値に基づいて、フーリエ・タイコグラフィー再構成を用いて前記試料の分解能を向上させた明視野像を生成し、
    前記システムは、前記試料が前記第1波長範囲の励起光を受光したことに応答して発生する光に基づいて、第1蛍光画像を生成する、システム。
  17. 前記試料の分解能を向上させた明視野像を反復的に決定するように構成されたプロセッサをさらに具え、該明視野像は、前記一意的な照明による一連の強度測定値と自己無撞着である、請求項16に記載のシステム。
  18. 前記試料の前記分解能を向上させた明視野像及び前記第1蛍光画像を、微速度撮影により周期的に決定する、請求項16に記載のシステム。
  19. 前記第1波長範囲の励起光と前記異なる照射角で順次照射される照明とを、異なる画像取得時刻に与える、請求項16に記載のシステム。
  20. 前記光学系が、前記対物レンズ間に発光フィルタを有して前記第1波長範囲の励起光を遮光するように構成されている、請求項16に記載のシステム。
  21. 前記可変照明光源からの照明が、前記発光フィルタの通過帯域内の波長範囲の照明である、請求項20に記載のシステム。
  22. 第2波長範囲の励起光を前記透明なウェルに与えるように構成された第2照明光源をさらに具え、
    前記イメージセンサは、前記試料が前記第2波長範囲の励起光に応答して発生する光に基づいて、前記試料の第2蛍光画像を取得するようにさらに構成され、
    前記プロセッサは、前記第1蛍光画像と前記第2蛍光画像とをオーバーレイして、前記試料の多色蛍光画像を生成するようにさらに構成されている、請求項16に記載のシステム。
  23. 前記光学系が、前記対物レンズ間にデュアルバンド発光フィルタを有し、前記デュアルバンド発光フィルタは、前記第1波長範囲の励起光を遮光し、かつ前記第2波長範囲の励起光を遮光するように構成されている、請求項22に記載のシステム。
  24. 前記可変照明光源からの照明が、前記デュアルバンド発光フィルタの通過帯域内の波長範囲の照明である、請求項23に記載のシステム。
  25. 前記一対の対物レンズが第1対物レンズ及び第2対物レンズを具え、該第1対物レンズは、前記ウェルからの光を集光するように構成され、前記第2対物レンズは、前記光を前記イメージセンサに焦点を結ぶように集束させるように構成され、前記第1対物レンズ及び前記第2対物レンズが同じ開口数を有する、請求項16に記載のシステム。
  26. 前記対物レンズの各々が0.55未満の開口数を有する、請求項16に記載のシステム。
  27. 前記第1蛍光照明光源が、前記第1波長範囲の励起光を、前記透明なウェルの底面の平面に対して小さい角度で指向させ、かつ前記透明なウェルの中心に指向させる、請求項16に記載のシステム。
  28. 前記透明なウェルがマルチウェル・プレートである、請求項26に記載のシステム。
  29. 前記透明なウェルが6ウェル・プレートまたは12ウェル・プレートである、請求項16に記載のシステム。
  30. 前記透明なウェルが少なくとも20mmの幅を有する、請求項16に記載のシステム。
  31. 可変照明光源を用いた平面波照明により、マルチウェル・プレートを複数の照射角で順次照射するステップと、
    前記マルチウェル・プレート内のウェル毎に、前記複数の照射角で順次照射される照明に基づいて、当該ウェル内の試料を通過する光から、一意的な照明による一連の強度測定値を取得するステップと、
    前記マルチウェル・プレート内の前記ウェル毎に、前記一意的な照明による一連の強度測定値に基づいて、フーリエ・タイコグラフィー再構成プロセスにより、前記試料の分解能を向上させた明視野像を再構成するステップと
    を含む撮像方法。
  32. 前記可変照明光源内の光源の位置を、前記マルチウェル・プレート内の前記ウェルからの光を受光するイメージセンサの位置に合わせて較正するステップと、
    前記順次照射される照明を与える前記可変照明光源の中心発光素子を照射するステップと、
    前記マルチウェル・プレート内の前記ウェル内の前記試料を通過する光から強度画像を取得するステップと、
    前記輝度画像の中心を特定するステップと、
    前記強度画像中のシフトを測定するステップと、
    前記中心発光素子の変位を、検索データを用いて見出すステップと、
    前記中心発光素子の変位に基づいて、前記複数の照射角を測定するステップと
    をさらに含む、請求項30に記載の方法。
  33. 前記可変照明光源内の光源の位置を、前記マルチウェル・プレート内の前記ウェルからの光を受光するイメージセンサの位置に合わせて較正するステップと、
    前記マルチウェル・プレートを、第1波長範囲の励起光で照射するステップと、
    前記マルチウェル・プレート内の前記ウェル毎に、当該ウェル内の前記試料の第1蛍光画像を取得するステップと
    をさらに含む、請求項30に記載の方法。
  34. 前記マルチウェル・プレートを、第2波長範囲の励起光で照射するステップと、
    前記マルチウェル・プレート内の前記ウェル毎に、当該ウェル内の前記試料の第2蛍光画像を取得するステップと、
    前記第1蛍光画像と前記第2蛍光画像とをオーバーレイして多色蛍光画像を生成するステップと
    をさらに含む、請求項31に記載の方法。
JP2017529721A 2015-01-26 2016-01-26 マルチウェル・フーリエ・タイコグラフィー撮像及び蛍光撮像 Pending JP2018504628A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562107631P 2015-01-26 2015-01-26
US201562107628P 2015-01-26 2015-01-26
US62/107,631 2015-01-26
US62/107,628 2015-01-26
PCT/US2016/015002 WO2016123157A1 (en) 2015-01-26 2016-01-26 Multi-well fourier ptychographic and fluorescence imaging

Publications (1)

Publication Number Publication Date
JP2018504628A true JP2018504628A (ja) 2018-02-15

Family

ID=56432550

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017519914A Pending JP2018511815A (ja) 2015-01-26 2016-01-26 アレイレベルのフーリエ・タイコグラフィ撮像
JP2017529721A Pending JP2018504628A (ja) 2015-01-26 2016-01-26 マルチウェル・フーリエ・タイコグラフィー撮像及び蛍光撮像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017519914A Pending JP2018511815A (ja) 2015-01-26 2016-01-26 アレイレベルのフーリエ・タイコグラフィ撮像

Country Status (7)

Country Link
US (5) US9829695B2 (ja)
EP (2) EP3251144A4 (ja)
JP (2) JP2018511815A (ja)
CN (3) CN107209123B (ja)
AU (2) AU2016211634A1 (ja)
CA (2) CA2965999A1 (ja)
WO (2) WO2016123156A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524911A (ja) * 2018-05-25 2021-09-16 ファイブ プライム セラピューティクス, インコーポレイテッド 組織の特性評価とスクリーニングのために改善したサイトメトリー
WO2021186803A1 (ja) * 2020-03-19 2021-09-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、制御装置および制御方法
WO2024219526A1 (ko) * 2023-04-21 2024-10-24 연세대학교 산학협력단 푸리에 타이코그래피 현미경 및 그 사용 방법

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013338193A1 (en) 2012-10-30 2015-05-21 California Institute Of Technology Fourier ptychographic imaging systems, devices, and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CA2919985A1 (en) 2013-07-31 2015-02-05 California Institute Of Technology Aperture scanning fourier ptychographic imaging
CN105765690B (zh) 2013-08-22 2019-01-18 加州理工学院 可变照明傅立叶重叠关联成像设备、系统以及方法
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
DE102014112242A1 (de) * 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
CN107111118B (zh) 2014-12-22 2019-12-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
WO2016118761A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
CA2965999A1 (en) 2015-01-26 2016-08-04 Jinho Kim Array level fourier ptychographic imaging
US10684458B2 (en) 2015-03-13 2020-06-16 California Institute Of Technology Correcting for aberrations in incoherent imaging systems using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
US10466649B1 (en) * 2015-08-06 2019-11-05 Centauri, Llc Systems and methods for simultaneous multi-channel off-axis holography
US9772282B2 (en) * 2015-11-12 2017-09-26 Massachusetts Institute Of Technology System for wide field-of-view, highly oblique illumination microscopy for scatter-based discrimination of cells
DE102016110407A1 (de) * 2016-06-06 2017-12-07 Carl Zeiss Microscopy Gmbh Digitales Mikroskop mit einem Objektiv und mit einem Bildsensor
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
DE102016008854A1 (de) * 2016-07-25 2018-01-25 Universität Duisburg-Essen System zur gleichzeitigen videografischen oder fotografischen Erfassung von mehreren Bilder
US9730649B1 (en) 2016-09-13 2017-08-15 Open Water Internet Inc. Optical imaging of diffuse medium
US11697833B2 (en) 2016-11-29 2023-07-11 The Regents Of The University Of California Antimicrobial susceptibility testing device and method for use with portable electronic device
EP3330697A1 (de) * 2016-11-30 2018-06-06 Bayer Aktiengesellschaft Vorrichtung zur ermittlung der wirkung von wirkstoffen an nematoden und anderen organismen in wässrigen tests
US10983325B2 (en) 2016-12-12 2021-04-20 Molecular Devices, Llc Trans-illumination imaging with an array of light sources
US10823945B2 (en) * 2017-01-10 2020-11-03 Tsinghua University Method for multi-color fluorescence imaging under single exposure, imaging method and imaging system
JP2020509391A (ja) * 2017-01-10 2020-03-26 フォトスイッチ・バイオサイエンシズ・インコーポレイテッド 検出のためのシステムおよび方法
CN106842535B (zh) * 2017-01-13 2019-10-29 清华大学 基于光流的相位显微成像系统及其方法
WO2018136474A1 (en) * 2017-01-17 2018-07-26 The Regents Of The University Of California Mobile phone based fluorescent multi-well plate reader
US11016028B2 (en) * 2017-01-19 2021-05-25 Indevr, Inc. Parallel imaging system
CN106842540B (zh) * 2017-03-24 2018-12-25 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
DE102017111718A1 (de) 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
CN110892251B (zh) * 2017-07-11 2023-09-15 浜松光子学株式会社 试样观察装置和试样观察方法
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
CN109754365B (zh) * 2017-11-07 2023-12-05 印象认知(北京)科技有限公司 一种图像处理方法及装置
WO2019093542A1 (ko) * 2017-11-09 2019-05-16 주식회사 스몰머신즈 항원의 정량 분석용 마이크로 칩 및 항원의 정량 분석용 디바이스, 및 이를 이용한 항원의 정량 분석 방법
CN108169173B (zh) * 2017-12-29 2020-08-11 南京理工大学 一种大视场高分辨三维衍射层析显微成像方法
CN112105968B (zh) * 2018-01-14 2024-08-27 光场实验室公司 全息衍射光学编码系统
US10778911B2 (en) * 2018-03-31 2020-09-15 Open Water Internet Inc. Optical transformation device for imaging
US10506181B2 (en) * 2018-03-31 2019-12-10 Open Water Internet Inc. Device for optical imaging
US10778912B2 (en) 2018-03-31 2020-09-15 Open Water Internet Inc. System and device for optical transformation
US10704094B1 (en) 2018-11-14 2020-07-07 Element Biosciences, Inc. Multipart reagents having increased avidity for polymerase binding
MX2021007139A (es) 2018-12-18 2021-09-10 Pathware Inc Sistema basado en microscopía computacional y método para imagenología automatizada y análisis de especímenes patológicos.
CN113302541B (zh) * 2019-03-22 2024-08-06 巴里大学 用于捕获任意平面之间的全光图像的过程和装置
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
US11320370B2 (en) 2019-06-26 2022-05-03 Open Water Internet Inc. Apparatus for directing optical and acoustic signals
CN110360924B (zh) * 2019-07-22 2021-01-26 中国科学院大学 一种双波长叠层显微成像方法及系统
JP2021034875A (ja) * 2019-08-23 2021-03-01 株式会社東海理化電機製作所 撮像制御システム、制御装置、およびコンピュータプログラム
US12231613B2 (en) 2019-11-06 2025-02-18 Hes Ip Holdings, Llc System and method for displaying an object with depths
CN111158130A (zh) * 2019-12-31 2020-05-15 北京理工大学 一种采用激光阵列光源的傅里叶叠层显微成像系统
US11408032B2 (en) 2020-01-17 2022-08-09 Element Biosciences, Inc. Tube lens design for improved depth-of-field
WO2021173894A1 (en) * 2020-02-28 2021-09-02 Thrive Bioscience, Inc. Pre-scan focus and scan focus methods
WO2021189453A1 (zh) * 2020-03-27 2021-09-30 肯维捷斯(武汉)科技有限公司 一种微型荧光显微成像模块
US11320380B2 (en) * 2020-04-21 2022-05-03 Sartorius Bioanalytical Instruments, Inc. Optical module with three or more color fluorescent light sources and methods for use thereof
US11819318B2 (en) 2020-04-27 2023-11-21 Open Water Internet Inc. Optical imaging from light coherence
KR102432435B1 (ko) * 2020-05-04 2022-08-17 주식회사 스몰머신즈 발광소자 어레이를 이용한 영상 획득 방법 및 장치
EP3910286B1 (en) * 2020-05-12 2022-10-26 Hexagon Technology Center GmbH Improving structured light projection through the minimization of visual artifacts by way of deliberately introduced optical aberrations
US11259706B2 (en) 2020-05-19 2022-03-01 Open Water Internet Inc. Dual wavelength imaging and out of sample optical imaging
US11559208B2 (en) 2020-05-19 2023-01-24 Open Water Internet Inc. Imaging with scattering layer
DE102020126522A1 (de) * 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur übersichtsbildauswertung
DE102020126737A1 (de) 2020-10-12 2022-04-14 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe
DE102020132312A1 (de) 2020-12-04 2022-06-09 Ludwig-Maximilians-Universität München (Körperschaft des öffentlichen Rechts) Vorrichtung zur Aufnahme von Mikroskopie-Bildern
US12259541B2 (en) 2021-02-18 2025-03-25 Duke University Re-imaging microscopy with micro-camera array
US12198300B2 (en) 2021-02-25 2025-01-14 California Institute Of Technology Computational refocusing-assisted deep learning
EP4373968A4 (en) 2021-07-21 2025-05-14 Element Biosciences, Inc. Optical systems for nucleic acid sequencing and methods therefor
WO2023013770A1 (ja) 2021-08-06 2023-02-09 株式会社小糸製作所 発光装置、距離撮像装置、および監視装置
JP2023068435A (ja) * 2021-11-02 2023-05-17 大日本印刷株式会社 撮像装置及び撮像方法
CN118843819A (zh) * 2021-12-23 2024-10-25 雷迪奥米特医学公司 具有自适应光源组件的生物流体分析仪
CN114660060B (zh) * 2022-03-07 2024-11-29 南京理工大学 一种基于矩阵扫描的宏观傅里叶叠层超分辨成像方法
US20250197843A1 (en) * 2022-04-08 2025-06-19 University Of Florida Research Foundation, Incorporated Instrument and methods involving high-throughput screening and directed evolution of molecular functions
DE102022112789A1 (de) * 2022-05-20 2023-11-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ptychographisches Bildgebungsverfahren und -system
WO2024206952A1 (en) * 2023-03-30 2024-10-03 California Institute Of Technology Angular ptychographic imaging with closed-form reconstruction
GB2635652A (en) * 2023-10-20 2025-05-28 Cambridge Consultants Optical sensing

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475527A (en) 1994-09-26 1995-12-12 The Regents Of The University Of California Fourier plane image amplifier
KR19980075050A (ko) 1997-03-28 1998-11-05 윤종용 주사 전자 현미경의 가변어퍼쳐
US6144365A (en) 1998-04-15 2000-11-07 S3 Incorporated System and method for performing blending using an over sampling buffer
US6154196A (en) 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
US6320648B1 (en) 1998-10-12 2001-11-20 Steven R. J. Brueck Method and apparatus for improving pattern fidelity in diffraction-limited imaging
DE19949029C2 (de) 1999-10-11 2002-11-21 Innovatis Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit
US6320174B1 (en) * 1999-11-16 2001-11-20 Ikonisys Inc. Composing microscope
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6856457B2 (en) 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
DE10128476C2 (de) 2001-06-12 2003-06-12 Siemens Dematic Ag Optische Sensorvorrichtung zur visuellen Erfassung von Substraten
GB0115714D0 (en) 2001-06-27 2001-08-22 Imperial College Structure determination of macromolecules
US6747781B2 (en) 2001-06-25 2004-06-08 Silicon Light Machines, Inc. Method, apparatus, and diffuser for reducing laser speckle
US6741730B2 (en) 2001-08-10 2004-05-25 Visiongate, Inc. Method and apparatus for three-dimensional imaging in the fourier domain
US6870165B2 (en) 2001-10-19 2005-03-22 Biocal Technology, Inc. Multi-color multiplexed analysis in a bio-separation system
EP2275775B1 (en) 2002-01-16 2015-09-23 Faro Technologies, Inc. Laser-based coordinate measuring device and laser-based method for measuring coordinates
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
US7130115B2 (en) 2002-09-23 2006-10-31 Dhetrix, Inc. Multi-mode scanning imaging system
JP4360817B2 (ja) 2002-10-18 2009-11-11 株式会社日立メディコ 放射線断層撮影装置
JP4565192B2 (ja) 2003-03-31 2010-10-20 オムニビジョン テクノロジーズ, インコーポレイテッド 画像システムにおける収差を生じる影響を最小化するための、システムおよび方法
JP4377171B2 (ja) 2003-07-15 2009-12-02 Tdk株式会社 空間光変調器
US7738095B2 (en) 2003-07-18 2010-06-15 Chemimage Corporation Method and apparatus for compact spectrometer for detecting hazardous agents
US7823783B2 (en) 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US8271251B2 (en) 2004-02-09 2012-09-18 Wisconsin Alumni Research Foundation Automated imaging system for single molecules
US7173256B2 (en) * 2004-03-26 2007-02-06 Fox John S Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure
DE102004017232A1 (de) 2004-04-05 2005-10-20 Bosch Gmbh Robert Interferometrische Messvorrichtung
WO2005122901A1 (ja) 2004-06-16 2005-12-29 Hitachi Medical Corporation 放射線断層像撮像装置
US7436503B1 (en) 2004-08-03 2008-10-14 Kla-Tencor Technologies Corp. Dark field inspection apparatus and methods
CN101432593A (zh) 2004-08-09 2009-05-13 克拉西菲耶有限公司 用于3d指纹识别的非接触式光学装置和方法
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US20060173313A1 (en) 2005-01-27 2006-08-03 Siemens Medical Solutions Usa, Inc. Coherence factor adaptive ultrasound imaging
US7653232B2 (en) 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US7643952B2 (en) 2005-04-05 2010-01-05 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
WO2006128325A1 (en) 2005-06-03 2006-12-07 Capitalbio Corporation Optical systems for microarray scanning
JP2007071803A (ja) 2005-09-09 2007-03-22 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
JP4696890B2 (ja) 2005-12-12 2011-06-08 富士ゼロックス株式会社 ホログラム記録方法及びホログラム記録装置
JP4727517B2 (ja) 2006-01-11 2011-07-20 富士フイルム株式会社 光源装置および光断層画像化装置
WO2007084959A1 (en) 2006-01-20 2007-07-26 The General Hospital Corporation Systems and methods for providing mirror tunnel microscopy
US8271521B2 (en) 2006-03-20 2012-09-18 Blue Nile, Inc. Computerized search technique, such as an internet-based gemstone search technique
JP4822925B2 (ja) 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
US7460248B2 (en) 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
US8980179B2 (en) 2006-05-17 2015-03-17 University Of Maryland, Baltimore County Angular-dependent metal-enhanced fluorescence
CN101467090A (zh) 2006-06-16 2009-06-24 卡尔蔡司Smt股份公司 微平版印刷投影曝光装置的投影物镜
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
CN100385275C (zh) 2006-09-29 2008-04-30 李志扬 主动光学位相共轭方法及装置
JP4690379B2 (ja) 2006-12-05 2011-06-01 韓國電子通信研究院 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム
EP2135128A2 (en) 2007-03-20 2009-12-23 Chroma Technology Corporation Light source
US8313031B2 (en) 2007-03-30 2012-11-20 Symbol Technologies, Inc. Adaptive aperture for an imaging scanner
WO2008124832A1 (en) 2007-04-10 2008-10-16 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-flourescent objects
US8624968B1 (en) 2007-04-25 2014-01-07 Stc.Unm Lens-less digital microscope
CN101743519B (zh) 2007-05-16 2013-04-24 视瑞尔技术公司 全息显示装置
JP5083315B2 (ja) 2007-06-13 2012-11-28 株式会社ニコン 検査装置、検査方法およびプログラム
WO2009009081A2 (en) * 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
US7929142B2 (en) 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
US20100277580A1 (en) 2007-11-23 2010-11-04 Koninklijke Philips Electronics N.V. Multi-modal spot generator and multi-modal multi-spot scanning microscope
US8115992B2 (en) 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US9239455B2 (en) 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
CN101408623B (zh) 2008-01-23 2011-01-19 北京航空航天大学 宽带综合孔径上变频成像系统
JP2010012222A (ja) 2008-06-06 2010-01-21 Olympus Medical Systems Corp 医療装置
US8184279B2 (en) 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
US7787588B1 (en) 2008-07-21 2010-08-31 Xradia, Inc. System and method for quantitative reconstruction of Zernike phase-contrast images
US8625093B2 (en) * 2008-09-26 2014-01-07 Horiba, Ltd. Particle characterization device
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
GB0822149D0 (en) 2008-12-04 2009-01-14 Univ Sheffield Provision of image data
KR101689045B1 (ko) 2008-12-22 2016-12-22 쓰리엠 이노베이티브 프로퍼티즈 컴파니 복수의 복굴절성 층을 구비한 내부 패턴화된 다층 광학 필름
WO2010088418A1 (en) 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
CN101872033B (zh) * 2009-04-24 2014-04-30 鸿富锦精密工业(深圳)有限公司 遮光片阵列、遮光片阵列制造方法及镜头模组阵列
US20160156880A1 (en) 2009-06-03 2016-06-02 Flir Systems, Inc. Durable compact multisensor observation devices
US8559014B2 (en) * 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
US9007433B2 (en) 2009-10-20 2015-04-14 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
US20140152801A1 (en) 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
DE102009047361B4 (de) 2009-12-01 2013-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Abbildung
CN101726366B (zh) * 2009-12-02 2011-11-23 山东师范大学 一种基于多针孔板的波前测量方法和装置
JP5717296B2 (ja) 2010-01-27 2015-05-13 国立大学法人北海道大学 回折顕微法
JP5538936B2 (ja) 2010-02-10 2014-07-02 キヤノン株式会社 解析方法、プログラム、記憶媒体、x線位相イメージング装置
EP2534667A2 (en) 2010-02-10 2012-12-19 Mochii, Inc. (d/b/a Voxa) Aberration-correcting dark-field electron microscopy
WO2011161558A1 (en) 2010-06-21 2011-12-29 Koninklijke Philips Electronics N.V. Method and system for performing low- dose ct imaging
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
GB2481589B (en) * 2010-06-28 2014-06-11 Phase Focus Ltd Calibration of a probe in ptychography
KR101819257B1 (ko) 2010-07-13 2018-01-16 다카라 텔레시스템즈 가부시키가이샤 X선 단층상 촬영 장치
US8599367B2 (en) 2010-08-04 2013-12-03 Alliant Techsystems Inc. Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection
US20130170024A1 (en) 2010-09-14 2013-07-04 Applied Precision, Inc. Oblique-illumination systems and methods
EP2615967B1 (en) 2010-09-17 2017-08-16 LLtech Management Optical tissue sectioning using full field optical coherence tomography
CN101957183B (zh) 2010-09-26 2012-03-21 深圳大学 一种结构光投影的高速三维测量系统
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
EP2633267A4 (en) 2010-10-26 2014-07-23 California Inst Of Techn LENS-FREE SCAN PROJECTIVE MICROSCOPY SYSTEM
GB201020516D0 (en) 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
KR20130131408A (ko) 2010-12-21 2013-12-03 더 리전트 오브 더 유니버시티 오브 캘리포니아 모바일 장치 상의 콤팩트한 와이드­필드 형광 이미징
US9411144B2 (en) 2011-01-12 2016-08-09 Ge Healthcare Bio-Sciences Corp. Systems for fluorescence illumination using superimposed polarization states
WO2012102887A2 (en) 2011-01-24 2012-08-02 The Board Of Trustees Of The University Of Illinois Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
US8841591B2 (en) 2011-04-04 2014-09-23 The Board Of Trustees Of The Leland Stanford Junior University Grating-enhanced optical imaging
GB201107053D0 (en) 2011-04-27 2011-06-08 Univ Sheffield Improvements in providing image data
US8761533B2 (en) 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
US20140160236A1 (en) 2011-07-29 2014-06-12 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
WO2013018024A1 (en) 2011-07-29 2013-02-07 Ecole Polytechnique Federale De Lausanne (Epfl) Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection
JP2014528060A (ja) 2011-09-06 2014-10-23 コーニンクレッカ フィリップス エヌ ヴェ 複数のセンサ領域を持つ光学バイオセンサ
US20190097524A1 (en) 2011-09-13 2019-03-28 Fsp Technology Inc. Circuit having snubber circuit in power supply device
EP2761273B1 (en) * 2011-09-30 2018-01-31 General Electric Company Systems and methods for self-referenced detection and imaging of sample arrays
US20130093871A1 (en) 2011-10-18 2013-04-18 Andreas G. Nowatzyk Omnidirectional super-resolution microscopy
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
WO2013116316A1 (en) 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CN102608597B (zh) 2012-03-19 2014-07-23 西安电子科技大学 基于非完全数据解卷积的实孔径前视成像方法
US9081175B2 (en) * 2012-03-23 2015-07-14 Lumos Technology Co., Ltd. Fluorescence observation device, domed base and fluorescence microscope provided with multiple light sources having different illumination angles
CN103377746B (zh) 2012-04-14 2015-12-02 中国科学技术大学 实现显微镜系统超分辨成像的方法
EP2690648B1 (en) * 2012-07-26 2014-10-15 Fei Company Method of preparing and imaging a lamella in a particle-optical apparatus
US9091862B2 (en) 2012-07-24 2015-07-28 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
US9552658B2 (en) 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012020240A1 (de) * 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
AU2013338193A1 (en) * 2012-10-30 2015-05-21 California Institute Of Technology Fourier ptychographic imaging systems, devices, and methods
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
AU2012258412A1 (en) 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
US9400169B2 (en) 2012-12-06 2016-07-26 Lehigh University Apparatus and method for space-division multiplexing optical coherence tomography
CA2919985A1 (en) 2013-07-31 2015-02-05 California Institute Of Technology Aperture scanning fourier ptychographic imaging
CN105765690B (zh) 2013-08-22 2019-01-18 加州理工学院 可变照明傅立叶重叠关联成像设备、系统以及方法
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
WO2015179452A1 (en) 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
JP6394367B2 (ja) 2014-05-30 2018-09-26 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム
CN104200449B (zh) 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
CN104181686B (zh) 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
AU2015328220B2 (en) 2014-10-07 2020-01-02 Tactile Systems Technology, Inc. Self-contained portable positionable oscillating motor array
US10043054B2 (en) 2014-10-17 2018-08-07 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
WO2016090331A1 (en) 2014-12-04 2016-06-09 California Institute Of Technology Multiplexed fourier ptychography imaging systems and methods
CN107111118B (zh) 2014-12-22 2019-12-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
AU2014280898A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
US20160202460A1 (en) * 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
WO2016118761A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
CA2965999A1 (en) 2015-01-26 2016-08-04 Jinho Kim Array level fourier ptychographic imaging
WO2016123508A1 (en) * 2015-01-29 2016-08-04 The Regents Of The University Of California Patterned-illumination systems adopting a computational illumination
US10684458B2 (en) 2015-03-13 2020-06-16 California Institute Of Technology Correcting for aberrations in incoherent imaging systems using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
US11054367B2 (en) 2015-10-12 2021-07-06 The Regents Of The University Of California Spectroscopy imaging and analysis of live cells
US20180348500A1 (en) 2015-11-11 2018-12-06 Scopio Labs Ltd. Scanning microscope with real time response
US20190235224A1 (en) 2015-11-11 2019-08-01 Scopio Labs Ltd. Computational microscopes and methods for generating an image under different illumination conditions
WO2017081541A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Microscope having a refractive index matching material
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US20180078447A1 (en) 2016-07-01 2018-03-22 Victor Viner Heated Rolling Massager
US10228283B2 (en) 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
CN106896489B (zh) * 2017-02-13 2019-11-22 清华大学 基于波长复用的频域拼贴显微系统及其方法
DE102017120823A1 (de) 2017-09-08 2019-03-14 Vemag Maschinenbau Gmbh Verfahren und Vorrichtung zum gruppierten Anordnen und Ausrichten und Verpacken von individuellen Lebensmittel-Produkten, insbesondere Patty-Stapel
DE102017217132B3 (de) 2017-09-26 2019-01-31 Bender Gmbh & Co. Kg Schaltnetzteil mit elektrischer Schaltungsanordnung zur Eingangsschutzbeschaltung
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524911A (ja) * 2018-05-25 2021-09-16 ファイブ プライム セラピューティクス, インコーポレイテッド 組織の特性評価とスクリーニングのために改善したサイトメトリー
JP2024023740A (ja) * 2018-05-25 2024-02-21 ファイヴ プライム セラピューティクス インク 組織の特性評価とスクリーニングのために改善したサイトメトリー
JP7489326B2 (ja) 2018-05-25 2024-05-23 ファイヴ プライム セラピューティクス インク 組織の特性評価とスクリーニングのために改善したサイトメトリー
US12235264B2 (en) 2018-05-25 2025-02-25 Five Prime Therapeutics, Inc. Enhanced cytometry for tissue characterization and screening
WO2021186803A1 (ja) * 2020-03-19 2021-09-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、制御装置および制御方法
JPWO2021186803A1 (ja) * 2020-03-19 2021-09-23
JP7660099B2 (ja) 2020-03-19 2025-04-10 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、制御装置および制御方法
US12426775B2 (en) 2020-03-19 2025-09-30 Sony Olympus Medical Solutions Inc. Medical observation system, control device, and control method
WO2024219526A1 (ko) * 2023-04-21 2024-10-24 연세대학교 산학협력단 푸리에 타이코그래피 현미경 및 그 사용 방법

Also Published As

Publication number Publication date
US10754138B2 (en) 2020-08-25
WO2016123156A1 (en) 2016-08-04
US10732396B2 (en) 2020-08-04
CA2965999A1 (en) 2016-08-04
US10168525B2 (en) 2019-01-01
US10222605B2 (en) 2019-03-05
WO2016123157A9 (en) 2016-10-20
EP3251144A4 (en) 2018-09-05
US20160216503A1 (en) 2016-07-28
EP3250908A1 (en) 2017-12-06
CN107003245A (zh) 2017-08-01
CN107209123B (zh) 2020-08-11
CN107209123A (zh) 2017-09-26
CN109507155A (zh) 2019-03-22
EP3250908B1 (en) 2025-04-09
CN107003245B (zh) 2018-11-06
AU2016211635A1 (en) 2017-06-29
US20190317311A1 (en) 2019-10-17
US20160216208A1 (en) 2016-07-28
US9829695B2 (en) 2017-11-28
CN109507155B (zh) 2021-08-24
WO2016123157A1 (en) 2016-08-04
EP3250908A4 (en) 2018-09-12
JP2018511815A (ja) 2018-04-26
EP3251144A1 (en) 2017-12-06
US20170299854A1 (en) 2017-10-19
CA2970053A1 (en) 2016-08-04
AU2016211634A1 (en) 2017-05-04
US20190049712A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
US10754138B2 (en) Multi-well fourier ptychographic and fluorescence imaging
US10754140B2 (en) Parallel imaging acquisition and restoration methods and systems
Jiang et al. Spatial-and Fourier-domain ptychography for high-throughput bio-imaging
CN110082900B (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
US9643184B2 (en) e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
Chan et al. Parallel Fourier ptychographic microscopy for high-throughput screening with 96 cameras (96 Eyes)
US9569664B2 (en) Methods for rapid distinction between debris and growing cells
JP5992456B2 (ja) 装置、システム及び方法
CN104797925B (zh) 用于不需要光学透镜而光学分析样品的容器及系统
Garty et al. An automated imaging system for radiation biodosimetry
Reinhard Preliminary Amendment dated Nov. 28, 2016 filed in US Appl. No.
Chan et al. 96 eyes: parallel Fourier ptychographic microscopy for high-throughput screening
Wang et al. Multicolor fluorescent imaging by space-constrained computational hyperspectral imaging