JP2022119382A - 光電変換装置、光電変換システム、移動体 - Google Patents

Abstract

【課題】 機械学習処理を実行する機械学習処理部では大量のデータを高速処理することから、動作時の発熱が懸念される。【解決手段】 本発明の一つの側面は複数の画素が配された画素領域を有する第一の基板と、第一の基板に積層された第二の基板と、放熱構造と、を有する光電変換装置であって、第二の基板は画素領域から出力される画素信号に対して機械学習処理を実行する処理部を有し、放熱構造は、処理部に隣り合う領域、又は平面視で処理部に重なる領域に配され、放熱構造は、第二の基板に形成された、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造あるいは第一の基板に形成され、第二の基板と電気的に接続された、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造か、画素領域以外の領域に貼り付けられた放熱構造か、のいずれかを含むことを特徴とする光電変換装置。【選択図】 図３

Description

本発明は、光電変換装置、光電変換システムおよび該光電変換システムを用いた移動体に関する。

特許文献１には、チップ内での高度な処理を目的とした機械学習処理部を有する光電変換装置における、素子の配置について記載されている。異なる基板に配置されている画素アレイ部と機械学習処理部との間に電磁シールドを配置することにより、機械学習処理部で発生したノイズが画素アレイ部へ入り込むことを防止し、画質劣化を抑制するとされる。

特開２０２０－０７２４１０号

機械学習処理を実行する機械学習処理部では大量のデータを高速処理することから、動作時の発熱が懸念される。特許文献１では、機械学習処理部の発熱について言及されておらず、機械学習処理部での発熱が画素アレイ部に伝搬するという課題がある。また、機能学習部自体の温度上昇も課題となる。

本発明の一つの側面は複数の画素が配された画素領域を有する第一の基板と、前記第一の基板に積層された第二の基板と、放熱構造と、を有する光電変換装置であって、前記第二の基板は前記画素領域から出力される画素信号に対して機械学習処理を実行する処理部を有し、前記放熱構造は、前記処理部に隣り合う領域、又は平面視で前記処理部に重なる領域に配され、前記放熱構造は、前記第二の基板に形成された、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造あるいは前記第一の基板に形成され、前記第二の基板と電気的に接続された、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造か、前記画素領域以外の領域に貼り付けられた放熱構造か、のいずれかを含むことを特徴とする。

本発明の別の側面は、複数の画素が配された画素領域を有する第一の基板と、前記第一の基板に積層される第二の基板と、放熱構造と、を有する光電変換装置であって、前記第二の基板は第三面と前記第三面に対向する第四面とを有し、前記第三面は前記第一の基板に貼り合わされ、前記放熱構造は、前記第四面側の光電変換装置の表面に露出されるＴＳＶ構造又は空洞構造を含むことを特徴とする。

本発明の更に別の側面は、第一の基板と、前記第一の基板に積層された第二の基板と、前記第二の基板に貼り合わされた第三の基板と、を有する光電変換装置であって、前記第一の基板は複数の画素が配された画素領域を有し、前記第三の基板がＭＥＭＳによる放熱構造であることを特徴とする。

本発明の更に別の側面は、複数の画素が配された画素領域を有する半導体基板に積層される半導体基板であって、前記画素領域から出力される画素信号に対して機械学習処理を実行する処理部と、放熱構造と、を有し、前記放熱構造は、前記処理部に隣り合う領域、又は平面視で前記処理部に重なる領域に配され、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造のいずれかを含むことを特徴とする。

光電変換放熱部を介して機械学習処理部で発生した熱を放熱し、機械学習処理部で発生した熱が画素アレイ部へ伝搬することを抑制、画質劣化を防ぐ。また、機能学習部の動作安定性を向上させ、素子劣化を抑制する。

第一の実施形態に係る光電変換装置の概略図である。 第一の実施形態に係る光電変換装置の概略図である。 第一の実施形態に係る光電変換装置の断面模式図である。 第一の実施形態に係る光電変換装置の断面模式図である。 第一の実施形態に係る光電変換装置の断面模式図である。 第一の実施形態に係る光電変換装置の断面模式図である。 第一の実施形態に係る光電変換装置の断面模式図である。 第一の実施形態に係る光電変換装置の断面模式図である。 第一の実施形態に係る光電変換装置の斜視図および平面図である。 第二及び第三の実施形態に係る光電変換装置の斜視図および平面図である。 第二及び第三の実施形態に係る光電変換装置の全体構成を示す図である。 第四の実施形態の光電変換システムの機能ブロック図である。 第五の実施形態の距離センサの機能ブロック図である。 第六の実施形態の内視鏡手術の機能ブロック図である。 第七の実施形態の光電変換システムおよび移動体の図である。 第八の実施形態のスマートグラスの概略図である。 第九の実施形態の診断支援システムの概略図である。

以下、本発明の実施形態における光電変換装置について、図面を参照しながら説明する。

以下に述べる各実施形態では、本発明を適用可能な光電変換装置の一例として、撮像装置を中心に説明するが、各実施形態の適用は撮像装置に限られるものではない。例えば、測距装置（焦点検出やＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いた距離測定等の装置）、測光装置（入射光量の測定等の装置）などに適用可能である。

（第一の実施形態）
第一の実施形態について、図１から図９を用いて説明する。

図１は、第一の実施形態の光電変換装置を示す。図１（ｃ）は光電変換装置の斜視図であり、図１（ａ）および図１（ｂ）は、図１（ｃ）の光電変換装置を光入射側から見た平面図である。

本実施形態に係る光電変換装置は、図１（ｃ）に示すように、第１基板２と第２基板５を貼り合わせた積層構造をとり、画素部１、パッド部４を有する。第１基板２と第２基板５との間には配線構造が配され、この配線構造は複数の配線層を含む。以下、添え字でＡ、Ｂが振られている場合には、第１基板２に配される構成にＡ、第２基板５に配される構成にＢを振ることとする。第１基板２と第２基板５を貼り合わせた際にＡとＢは重なるように配置される。Ａ、Ｂのそれぞれを付された素子同士は配線層を介して電気的に接続される。あるいは、Ａ、Ｂのそれぞれを付された素子の一方を開口部として、他方に接続された配線を基板表面まで通してもよい。図１（ｃ）に示す光電変換装置では、第一面を第１基板２の表面としたとき、対向する第二面が第２基板５の表面となる。

図１（ａ）に示すように、第１基板２は、画素部１Ａ、放熱部３、基板の外周部に配されたパッド部４Ａを有する。

また、図１（ｂ）に示すように、第２基板５は、画素部１Ｂ、放熱部３、パッド部４Ｂ、垂直走査部６、接続部７、ＡＤ変換部８、信号処理部９、機械学習処理部１０、出力インターフェース部１１が配されている。本図では、ＡＤ変換部８、信号処理部９、機械学習処理部１０、出力インターフェース部１１は上下に２系統有する。本図では、ＡＤ変換部８から信号処理部９、機械学習処理部１０、出力インターフェース部１１へは１箇所で接続されるが、複数個所で接続することもできる。

本図において、機械学習処理部１０は２つに分割されるが、分割されていなくてもよい。あるいは、機能としては一体であるものを物理的に分割して配置してもよい。

放熱部３は、機械学習処理部１０と近接する領域の少なくとも一部に形成される。機械学習処理部１０と近接する領域とは、例えば機械学習処理部１０と接する領域（複数に分割された機械学習処理部１０の間の領域を含む）である。第１基板２の第２基板５と電気的に接続された領域のうち、第２基板５の機械学習処理部１０と平面的に対応する領域や、平面視で対応する領域（上面からの射影のこと）と接する領域、半導体活性領域も含む。

パッド部４Ａおよびパッド部４Ｂの少なくとも一方には、複数のパッド部４が配置されており、パッド部４は外部回路との信号などのやり取りを行う入力パッド、出力パッドを含む。また、パッド部４には、外部回路が電気的に接続される、配線層に配置された電極パッドや半導体基板の一方の面から対向する他方の面に貫通する貫通電極と接続される電極パッドが含まれる。図１（ａ）および図１（ｂ）には、基板の外周部４辺にパッド部４を配置しているが、パッド部４の配置は、本構成に限られず変更可能である。

接合部７は第１基板２と第２基板５とを電気的に接続する金属接続（メタルボンディング）やＴＳＶ（Ｔｈｒｏｕｇｈ－Ｓｉｌｉｃｏｎ Ｖｉａ）構造である。

図２は、第一の実施形態における光電変換装置の全体構成を示す図である。光電変換装置は、図２に示されるように、画素部１、垂直走査部６、ＡＤ変換部８、信号処理部９、機械学習処理部１０、出力インターフェース部１１を含んで構成されている。本図では、図１にて上下に２系統有する要素についても下に１つのみ示す。また、接続部７は図２では図示を省略する。

画素部１は、水平、垂直方向に複数の受光画素１２を含む。受光画素１２のそれぞれは外部から入射する光を光電変換し、入射光量に応じた電荷を生成する。画素部１の各行には共通の画素駆動信号線１３が接続され、画素部１の受光画素１２は垂直走査部６より画素駆動信号線１３に供給された制御パルスにより駆動されている。また、画素部１の各列には共通の垂直出力線１４が接続され、これらの画素で生じる電荷を画素信号として出力している。各列の垂直出力線１４に出力された受光画素１２の画素信号は、各列に配されたＡＤ変換部８に入力される。

なお、画素部１を構成する画素の数は、特に限定されるものではない。例えば、一般的なデジタルカメラのように数千行×数千列の画素で画素部１を構成してもよく、１行又は１列に並べた複数の画素で画素部１を構成してもよい。

ＡＤ変換部８では入力された画素信号の増幅およびＡＤ変換が行われ、出力データは信号処理部９に入力される。

信号処理部９では、ＡＤ変換部８の出力データに対して信号処理が行われる。この信号処理は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）のほか、オフセット除去など、画像処理の一部に相当する処理が行われてもよい。また、信号処理部９の一部、あるいは全部と機械学習処理部１０の機能を統合して機械学習処理部１０として形成することも可能である。

信号処理部９から出力されたデータは機械学習処理部１０に入力され、機械学習によって作成された学習済みモデルを用いた各種処理が実行される。

学習済みモデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を利用した機械学習によって作成される。このような学習済みモデルをニューラルネットワーク計算モデルともいう。

この学習済みモデルは、画素部１からの出力に相当する入力信号と、この入力信号に対するラベルとが紐付いている学習データとを所定の機械学習モデルに入力して生成されたパラメータに基づいて設計されていてもよい。また、所定の機械学習モデルは、多層のニューラルネットワークを利用した機械学習モデルであってもよい。このような学習済みモデルを多層ニューラルネットワークモデルともいう。

処理後のデータは、出力インターフェース部１１を介して出力される。

図３は、図１のＸ－Ｘ’線での断面模式図である。第１基板２の画素部１Ａ、放熱部３、パッド部４Ａとこれらに対応する第２基板５の構造を示している。第１基板２および第２基板５は、複数の配線層が絶縁膜を介して積層された構造を有している。放熱部３は第１基板２および第２基板５を含む領域である。

第１基板２の光入射側に配される半導体基板３０１は、素子領域３０８を有し、素子領域３０８は素子分離領域３０９で分離される。

層間絶縁膜３０２は、主に絶縁材料（半導体基板としてシリコンを用いる場合、シリコン酸化物）からなり、ゲート電極やゲート配線を含むゲート電極層３１０、配線層３１２、素子領域３０８と配線層３１２を接続するプラグ層３１１を含む。

第１基板２と第２基板５が物理的に接合される面である基板接合部３０６では、接合部７である金属接続（メタルボンディング）により第１基板２と第２基板が電気的に接続される。

層間絶縁膜３０２と基板接合部３０６の間には、複数の層間絶縁膜３０３、３０４、３０５が積層されている。層間絶縁膜３０３は、配線層３１４と配線層間を接続するプラグ層３１３を含む。層間絶縁膜３０４も同様に配線層間を接続するプラグ層を含む構成となっている。層間絶縁膜３０５は、配線層とプラグ層に加え、機械学習処理部１０で発生した熱を放熱するための放熱パッド３２２を有する。放熱パッド３２２は、層間絶縁膜３０５に含まれる配線層と同一層で形成される導電パターンにより構成することができる。

第２基板５に配される半導体基板３１５は素子領域３２０を含む。素子領域３２０は素子分離領域３２１で分離される。

層間絶縁膜３１６は、層間絶縁膜３０２と同様にゲート電極層、配線層、プラグ層を含む。層間絶縁膜３１６と、第１基板２と第２基板５の基板接合部３０６の間には、複数の層間絶縁膜３１７、３１８、３１９が積層されている。層間絶縁膜３１７、３１８には、層間絶縁膜３０３、３０４と同様に配線層とプラグ層が含まれ、層間絶縁膜３１９は、層間絶縁膜３０５と同様に配線層、プラグ層および放熱パッド３２３を有する。放熱パッド３２３は、放熱パッド３２２と同様に層間絶縁膜３１９に含まれる配線層と同一層で形成される導電パターンにより構成される。放熱パッド３２３と放熱パッド３２２は、基板接合部３０６で接合されている。

画素部１Ａの素子領域３０８には、画素を構成するトランジスタやフォトダイオードが配され、放熱部３の素子領域３０８には、容量を構成する構造が配される。素子領域３０８はウエルの電位供給用の領域としても用いられる。あるいは、素子領域３０８には電位が与えられなくてもよい。

画素部１の光入射側には、光を集光させるマイクロレンズ３０７が配され、放熱部３の光入射側には放熱構造３２４が配される。放熱構造３２４は、例えば、微細加工技術によって形成されたＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）などであり、第１基板２の少なくとも一部の表面の、画素領域以外の領域に貼り付けられる。

機械学習処理部１０で発生した熱は、機械学習処理部１０と近接する領域の素子を経由して伝導する。例えば、半導体基板としてシリコンを用いる場合、素子分離領域となるシリコン酸化物の熱伝導率（約１．４（Ｗ／ｍ・Ｋ））は素子領域（シリコン）の熱伝導率（約１５０（Ｗ／ｍ・Ｋ））に対して２桁以上小さい。そのため、素子ではない場所を素子分離領域であるシリコン酸化物ではなく素子領域と同じシリコンで形成することで熱伝導が大きい箇所を増やすことができ、放熱を促進することが可能である。この場合、素子間の分離はＰＮ分離を用いてもよい。

また、機械学習処理部１０で発生した熱は、機械学習処理部１０と近接する領域のポリシリコンを経由しても伝導する。ポリシリコンの熱伝導率はシリコンと略同等であり、素子ではない場所をポリシリコンで形成することでも熱伝導が大きい箇所を増やすことができ、放熱を促進することが可能である。このとき、ポリシリコンをメッシュ状のパターンとすることで、より高い効率で放熱を促進することが可能である。

第２基板５の配線層およびプラグ層を介して放熱パッド３２３に伝搬された熱は、第１基板２の層間絶縁膜３０５に配される放熱パッド３２２およびプラグ層を介して、層間絶縁膜３０４に含まれる配線層に伝搬される。前記配線層は、パッド部４Ａに接続されており、パッド部４Ａを介して放熱される。このように、機械学習部１０が配される第２基板５と第１基板２が電気的に接続された箇所から放熱されるため、機械学習部１０で発生した熱を効率よく放熱することができる。放熱経路となる配線層や放熱パッドをメッシュ状のパターンとすることで、より高い効率で放熱を促進することが可能である。

また、第２基板５の配線層およびプラグ層を介して放熱パッド３２３に伝搬された熱は、第１基板２の層間絶縁膜３０５に配される放熱パッド３２２および第１基板２に形成されるＴＳＶ構造３２５を介して、第１基板２の表面などからも放熱される。本実施例では、ＴＳＶ構造３２５は放熱構造３２４に接続されているため、機械学習部１０で発生した熱を放熱構造３２４を介して高効率で放熱することができる。また、ＴＳＶ構造３２５をメッシュ状のパターンとすることで、より高い効率で放熱を促進することが可能である。メッシュ状の配置とは、具体的にはＴＳＶ構造をマトリックス状に配置してもよく、マトリックス状に配置したＴＳＶ構造同士を配線で接続してもよい。また、二次元上の網目構造に限られず、例えばＴＳＶ構造同士を縦横に接続し、三次元に網目状の構造を構成してもよい。

なお、図３のパッド部４Ａは層間絶縁膜３０４までが開口され、開口部に配された電極パッドが配線層を介してパッド部４Ｂと電気的に接続されるが、パッド部４の構成はこれに限られない。たとえばパッド部４Ａを相関絶縁膜３１８までの開口部とし、パッド部４Ｂに電極パッドを配してもよい。

（第一の実施形態の変形例１）
図４は、第一の実施形態に係る光電変換装置の変形例の概略図である。図３のＴＳＶ構造３２５が空洞構造３２６に変わっている。空洞構造３２６は、ＴＳＶ構造３２５同様に機械学習処理部１０から伝搬された熱を放熱する。

空洞構造３２６はパッド部４Ａと同様に形成される。外部回路との信号などのやり取りを行わない場合、外部回路との接続のためのワイヤーボンディングが不要であり、空洞サイズを小さくすることが可能である。そのため、複数の空洞構造を形成し、チップ外との接触界面面積を増加させることで高い放熱効果を得ることも可能である。また、空洞構造をメッシュ状のパターンとすることで、より高い効率で放熱を促進することが可能である。

（第一の実施形態の変形例２）
図５は、第一の実施形態に係る光電変換装置の変形例の概略図である。図３の第１基板２に形成されるＴＳＶ構造３２５がなく、第２基板５にＴＳＶ構造３２７が形成される。

ＴＳＶ構造３２７は第２基板５の表面に露出され、第２基板の配線層およびプラグ層を介して放熱パッド３２３に伝搬された熱は、ＴＳＶ構造３２７を介して、第２基板５の表面から放熱される。第２基板５の表面は、パッケージとの接触面になるため、より高い放熱効果を得ることができる。図５に示す構成では、発熱箇所である機械学習処理部１０に近い箇所から放熱することも可能であり、その場合、より高い放熱効果を得ることができる。

（第一の実施形態の変形例３）
図６は、第一の実施形態に係る光電変換装置の変形例の概略図である。図５のＴＳＶ構造３２７が空洞構造３２８に変わっている。

空洞構造３２８は、空洞構造３２６と異なり放熱構造形成のためのプロセスが必要である。第１基板２とは異なり、第２基板５の表面には画素がないため空洞３２８は配置面積の制限が少なく、多くの空洞構造を形成することが可能である。また、発熱箇所である機械学習処理部１０に近い箇所から放熱することも可能であることと併せ、より高い放熱効果を得ることができる。

（第一の実施形態の変形例４）
図７は、第一の実施形態に係る光電変換装置の変形例の概略図である。図６の放熱パッド３２３、放熱パッド３２２および、放熱パッド３２２に接続される第１基板２の配線層およびプラグ層、ポリシリコンがない。つまり、放熱構造が第１基板に接する領域を有さず、第２基板５の表面から放熱する。

このため、特に画素周辺部が小さくチップ面積のうち画素領域が占める割合が大きいチップの場合には、画素近傍が放熱経路とならず、画素への影響を抑制することができる。

（第一の実施形態の変形例５）
図８は、第一の実施形態に係る光電変換装置の変形例の概略図である。図７に対して第１基板２と第２基板５との間に第３基板８００が貼り合わされる。

第１基板２、は基板接合部８０２で、第２基板５は基板接合部８０３で、それぞれ金属接合部によって第３基板８００と接合される。基板接合部８０２、基板接合部８０３間はビア８０１によって接続される。ビア８０１にはＴＳＶなどが用いられる。第１基板２、第２基板５のそれぞれと第３基板８００の接続は本図では省略する。第３基板８００には、例えばＳＲＡＭなどが配置される。

第３基板８００として、ＭＥＭＳなどによる放熱構造を貼り合わせることもできる。他の基板が放熱構造である場合、第２基板５が放熱パッド３２３、および、放熱パッド３２２を介して第３基板８００と電気的に接続されることで、高い放熱効果を得ることができる。

また、本変形例では第１基板２と第２基板５との間に第３基板８００が配されたが、第２基板５の第１基板２と接合される面を第三面としたときに、第三面に対向する第２基板５の第四面側にさらに第４基板８０４が配されてもかまわない。

（第一の実施形態の変形例６）
図１に示す配置の他にも、光電変換装置の要素配置が考えられる。光電変換装置の要素配置の一例として図９のような構成がある。図１ではＡＤ変換部８、信号処理部９を上下に２系統有するが、図９では１系統のみである。

（第二の実施形態）
本発明の第二の実施形態について図１０及び図１１を用いて説明する。第一の実施形態と共通する構成についての詳細な説明は省略し、主に第一の実施形態と異なる点について説明する。

図１０は、第二の実施形態の光電変換装置を示している。光電変換装置の斜視図は、図１（ｃ）と同様である。図１０（ａ）および図１０（ｂ）は、光電変換装置を光入射側から見た平面図である。

図１０（ｂ）に示すように、第２基板５は、画素部１Ｂ、放熱部３、パッド部４Ｂ、垂直走査部６、接続部７、ＡＤ変換部８、信号処理部９、出力インターフェース部１１が配されている。

本図では、ＡＤ変換部８、信号処理部９、出力インターフェース部１１は上下に２系統有する。また、基板の外周部にパッド部４Ｂが配されている。本実施例では出力インターフェース部１１が高速動作するために発熱が大きいことを想定しており、出力インターフェース部１１と近接する領域に放熱部３が形成されるが、他の領域でもよい。

図１１は、第二の実施形態における光電変換装置の全体構成を示す図である。光電変換装置は、図１１に示されるように、画素部１、垂直走査部６、ＡＤ変換部８、信号処理部９、出力インターフェース部１１を含んで構成されている。本図では、図１にて上下に２系統有する要素についても下に１つのみ示す。また、接続部７は省略する。

なお、本光電変換装置に機械学習処理部を追加することも可能である。

本実施形態に対応する図１０のＸ－Ｘ’線での断面模式図は図８と同じである。

本実施形態では、第１基板２、第２基板５の間に張り合わされる第３基板８００がＭＥＭＳによる放熱構造である。放熱効果の高いマイクロ流体構造を放熱構造として適用可能である。第１基板２、第２基板５の間に特に放熱効果の大きい第３基板８００を貼り付けることで、出力インターフェース部１１が配された第２基板５から第１基板２への熱の伝搬を抑制することができる。

（第三の実施形態）
第三の実施形態について説明する。

第三の実施形態の光電変換装置も図１０、１１で示される。第一及び第二の実施形態と共通する構成についての詳細な説明は省略し、主に第一の実施形態と異なる点について説明する。

本実施形態に対応する図１０のＸ－Ｘ’線での断面模式図は図８と同じである。

本実施形態では、第１基板２、第２基板５の間に張り合わされる第３基板８００に、例えばＳＲＡＭなどが配置される。第１基板２、第２基板５のそれぞれと第３基板８００の接続は本図では省略する。この場合、放熱構造が第１基板に接する領域を有さず、第２基板５の表面から放熱するため、特に画素周辺部が小さくチップ面積のうち画素領域が占める割合が大きいチップである場合には、画素近傍が放熱経路とならず、画素への影響を抑制することができる。

また、本実施例では、第１基板２、第２基板５の間に張り合わされる第３基板８００がＭＥＭＳによる放熱構造であってもよい。このように、第１基板２、第２基板５の間に放熱効果の大きい第３基板８００を貼り付けることで、出力インターフェース部１１が配された第２基板５から第１基板２への熱の伝搬を抑制することができる。

（第四の実施形態）
図１２は、本実施形態に係る光電変換システム１１２００の構成を示すブロック図である。本実施形態の光電変換システム１１２００は、光電変換装置１１２０４を含む。ここで、光電変換装置１１２０４は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム１１２００は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ、ネットワークカメラ、顕微鏡等が挙げられる。図１２では、光電変換システム１１２００としてデジタルスチルカメラの例を示している。

図１２に示す光電変換システム１１２００は、光電変換装置１１２０４、被写体の光学像を光電変換装置１１２０４に結像させるレンズ１１２０２を有する。また、光電変換システム１１２００はレンズ１１２０２を通過する光量を可変にするための絞り１１２０３、レンズ１１２０２の保護のためのバリア１１２０１を有する。レンズ１１２０２および絞り１１２０３は、光電変換装置１１２０４に光を集光する光学系である。

光電変換システム１１２００は、光電変換装置１１２０４から出力される出力信号の処理を行う信号処理部１１２０５を有する。信号処理部１１２０５は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム１１２００は、更に、画像データを一時的に記憶するためのバッファメモリ部１１２０６、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１１２０９を有する。更に光電変換システム１１２００は、撮像データの記録または読み出しを行うための半導体メモリ等の記録媒体１１２１１、記録媒体１１２１１に記録または読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１１２１０を有する。記録媒体１１２１１は、光電変換システム１１２００に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御Ｉ／Ｆ部１１２１０から記録媒体１１２１１との通信や外部Ｉ／Ｆ部１１２０９からの通信は無線によってなされてもよい。

更に光電変換システム１１２００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部１１２０８、光電変換装置１１２０４と信号処理部１１２０５に各種タイミング信号を出力するタイミング発生部１１２０７を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム１１２００は、少なくとも光電変換装置１１２０４と、光電変換装置１１２０４から出力された出力信号を処理する信号処理部１１２０５とを有すればよい。全体制御・演算部１１２０８およびタイミング発生部１１２０７は、光電変換装置１１２０４の制御機能の一部または全部を実施するように構成してもよい。

光電変換装置１１２０４は、画像用信号を信号処理部１１２０５に出力する。信号処理部１１２０５は、光電変換装置１１２０４から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部１１２０５は、画像用信号を用いて、画像を生成する。また、信号処理部１１２０５は、光電変換装置１１２０４から出力される信号に対して測距演算を行ってもよい。なお、信号処理部１１２０５やタイミング発生部１１２０７は、光電変換装置に搭載されていてもよい。つまり、信号処理部１１２０５やタイミング発生部１１２０７は、画素が配された基板に設けられていてもよいし、別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。

（第五の実施形態）
図１３は、前述の実施形態に記載の光電変換装置を利用した電子機器である距離画像センサの構成例を示すブロック図である。

図１３に示すように、距離画像センサ１２４０１は、光学系１２４０７、光電変換装置１２４０８、画像処理回路１２４０４、モニタ１２４０５、およびメモリ１２４０６を備えて構成される。そして、距離画像センサ１２４０１は、光源装置１２４０９から被写体に向かって投光され、被写体の表面で反射された光（変調光やパルス光）を受光することにより、被写体までの距離に応じた距離画像を取得することができる。

光学系１２４０７は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を光電変換装置１２４０８に導き、光電変換装置１２４０８の受光面（センサ部）に結像させる。

光電変換装置１２４０８としては、上述した各実施形態の光電変換装置が適用され、光電変換装置１２４０８から出力される受光信号から求められる距離を示す距離信号が画像処理回路１２４０４に供給される。

画像処理回路１２４０４は、光電変換装置１２４０８から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像（画像データ）は、モニタ１２４０５に供給されて表示されたり、メモリ４０６に供給されて記憶（記録）されたりする。

このように構成されている距離画像センサ１２４０１では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。

（第六の実施形態）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１４は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１４では、術者（医師）１３１３１が、内視鏡手術システム１３００３を用いて、患者ベッド１３１３３上の患者１３１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１３００３は、内視鏡１３１００と、術具１３１１０と、内視鏡下手術のための各種の装置が搭載されたカート１３１３４と、から構成される。

内視鏡１３１００は、先端から所定の長さの領域が患者１３１３２の体腔内に挿入される鏡筒１３１０１と、鏡筒１３１０１の基端に接続されるカメラヘッド１３１０２と、から構成される。図示する例では、硬性の鏡筒１３１０１を有するいわゆる硬性鏡として構成される内視鏡１３１００を図示しているが、内視鏡１３１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１３１００には光源装置１３２０３が接続されており、光源装置１３２０３によって生成された光が、鏡筒１３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光される。この光は対物レンズを介して患者１３１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１３１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１３１０２の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１３１３５に送信される。

ＣＣＵ１３１３５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１３１００及び表示装置１３１３６の動作を統括的に制御する。さらに、ＣＣＵ１３１３５は、カメラヘッド１３１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１３１３６は、ＣＣＵ１３１３５からの制御により、当該ＣＣＵ１３１３５によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１３２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１３１００に供給する。

入力装置１３１３７は、内視鏡手術システム１３００３に対する入力インターフェースである。ユーザは、入力装置１３１３７を介して、内視鏡手術システム１３００３に対して各種の情報の入力や指示入力を行うことができる。

処置具制御装置１３１３８は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１３１１２の駆動を制御する。

内視鏡１３１００に術部を撮影する際の照射光を供給する光源装置１３２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１３２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１３２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１３２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１３２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（第七の実施形態）
本実施形態の光電変換システムおよび移動体について、図１５及び図１６を用いて説明する。図１５は、本実施形態による光電変換システムおよび移動体の構成例を示す概略図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。

図１５は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。光電変換システム１４３０１は、光電変換装置１４３０２、画像前処理部１４３１５、集積回路１４３０３、光学系１４３１４を含む。光学系１４３１４は、光電変換装置１４３０２に被写体の光学像を結像する。光電変換装置１４３０２は、光学系１４３１４により結像された被写体の光学像を電気信号に変換する。光電変換装置１４３０２は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部１４３１５は、光電変換装置１４３０２から出力された信号に対して所定の信号処理を行う。画像前処理部１４３１５の機能は、光電変換装置１４３０２内に組み込まれていてもよい。光電変換システム１４３０１には、光学系１４３１４、光電変換装置１４３０２および画像前処理部１４３１５が、少なくとも２組設けられており、各組の画像前処理部１４３１５からの出力が集積回路１４３０３に入力されるようになっている。

集積回路１４３０３は、撮像システム用途向けの集積回路であり、メモリ１４３０５を含む画像処理部１４３０４、光学測距部１４３０６、測距演算部１４３０７、物体認知部１４３０８、異常検出部１４３０９を含む。画像処理部１４３０４は、画像前処理部１４３１５の出力信号に対して、現像処理やキズ補正等の画像処理を行う。メモリ１４３０５は、撮像画像の一次記憶、撮像画素のキズ位置を格納する。光学測距部１４３０６は、被写体の合焦や、測距を行う。測距演算部１４３０７は、複数の光電変換装置１４３０２により取得された複数の画像データから測距情報の算出を行う。物体認知部１４３０８は、車、道、標識、人等の被写体の認知を行う。異常検出部１４３０９は、光電変換装置１４３０２の異常を検出すると、主制御部１４３１３に異常を発報する。

集積回路１４３０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

主制御部１４３１３は、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０等の動作を統括・制御する。主制御部１４３１３を持たず、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）方法も取り得る。

集積回路１４３０３は、主制御部１４３１３からの制御信号を受け或いは自身の制御部によって、光電変換装置１４３０２へ制御信号や設定値を送信する機能を有する。

光電変換システム１４３０１は、車両センサ１４３１０に接続されており、車速、ヨーレート、舵角などの自車両走行状態および自車外環境や他車・障害物の状態を検出することができる。車両センサ１４３１０は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光電変換システム１４３０１は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部１３１１に接続されている。特に、衝突判定機能に関しては、光電変換システム１４３０１や車両センサ１４３１０の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の保安装置起動を行う。

また、光電変換システム１４３０１は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置１４３１２にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部１４３１３は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置１４３１２は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方または後方を光電変換システム１４３０１で撮影する。図１５（ｂ）に、車両前方を光電変換システム１４３０１で撮像する場合の光電変換システム１４３０１の配置例を示す。

２つの光電変換装置１４３０２は、車両１４３００の前方に配される。具体的には、車両１４３００の進退方位または外形（例えば車幅）に対する中心線を対称軸に見立て、その対称軸に対して２つの光電変換装置１３０２が線対称に配される。この形態は、車両１４３００と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置１４３０２は、運転者が運転席から車両１４３００の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置１４３１２は、運転者の視野に入りやすい配置が好ましい。

また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム１４３０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。

（第八の実施形態）
図１６は、１つの適用例に係る眼鏡１６６００（スマートグラス）を説明する。眼鏡１６６００には、光電変換装置１６６０２を有する。光電変換装置１６６０２は、上記の各実施形態に記載の光電変換装置である。また、レンズ１６６０１の裏面側には、ＯＬＥＤやＬＥＤ等の発光装置を含む表示装置が設けられていてもよい。光電変換装置１６６０２は１つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置１６６０２の配置位置は図１３（ａ）に限定されない。

眼鏡１６６００は、制御装置１６６０３をさらに備える。制御装置１６６０３は、光電変換装置１６６０２と上記の表示装置に電力を供給する電源として機能する。また、制御装置１６６０３は、光電変換装置１６６０２と表示装置の動作を制御する。レンズ１６６０１には、光電変換装置１６６０２に光を集光するための光学系が形成されている。

図１６（ｂ）は、１つの適用例に係る眼鏡１６６１０（スマートグラス）を説明する。眼鏡１６６１０は、制御装置１６６１２を有しており、制御装置１６６１２に、光電変換装置１６６０２に相当する光電変換装置と、表示装置が搭載される。レンズ１６６１１には、制御装置１６６１２内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ１６６１１には画像が投影される。制御装置１６６１２は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。

赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。

より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表す視線ベクトルが算出されることにより、ユーザの視線が検出される。

本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザの視線情報に基づいて表示装置の表示画像を制御してよい。

具体的には、表示装置は、視線情報に基づいて、ユーザが注視する第一の視界領域と、第一の視界領域以外の第二の視界領域とを決定される。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第一の視界領域の表示解像度を第二の視界領域の表示解像度よりも高く制御してよい。つまり、第二の視界領域の解像度を第一の視界領域よりも低くしてよい。

また、表示領域は、第一の表示領域、第一の表示領域とは異なる第二の表示領域とを有し、視線情報に基づいて、第一の表示領域および第二の表示領域から優先度が高い領域を決定されてよい。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。

なお、第一の視界領域や優先度が高い領域の決定には、ＡＩを用いてもよい。ＡＩは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。ＡＩプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。

視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。

（第九の実施形態）
図１７を参照しながら、本実施形態のシステムについて説明する。本実施形態は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやそれを支援する診断支援システムに適用することができる。本実施形態のシステムは、取得された画像に基づいて病変を診断又はその支援をしてもよい。

図１７に示すように、本実施形態のシステムは、１以上の病理システム１５５１０を含む。さらに解析部１５５３０と、医療情報システム１５５４０とを含んでもよい。

１以上の病理システム１５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム１５５１０は、互いに異なる病院に導入されてもよく、それぞれワイドエリアネットワークやローカルエリアネットワークなどの種々のネットワークを介して解析部１５５３０及び医療情報システム１５５４０に接続される。

各病理システム１５５１０は、顕微鏡１５５１１と、サーバ１５５１２と、表示装置１５５１３とを含む。

顕微鏡１５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。

サーバ１５５１２は、顕微鏡１５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ１５５１２は、閲覧要求を受け付けた場合に、メモリ等に保持された病理画像を検索し、検索された病理画像を表示装置１５５１３に表示させることができる。サーバ１５５１２と表示装置１５５１３とは、表示を制御する装置等を介してもよい。

ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。

顕微鏡１５５１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡１５５１１は、撮像対象に応じて解像度が変更されてもよい。

観察対象物はガラススライドなどに収容され、顕微鏡１５５１１の画角内に位置するステージ上に載置される。顕微鏡１５５１１は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡１５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。

顕微鏡１５５１１で取得された高解像度画像は、サーバ１５５１２に入力される。サーバ１５５１２は、各高解像度画像をより小さいサイズの部分画像に分割することができる。このように部分画像を生成すると、サーバ１５５１２は、隣り合う所定数の部分画像を合成することで１つの画像を生成する合成処理を、全ての部分画像に対して実行する。この合成処理は、最終的に１つの部分画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上の部分画像で構成されたピラミッド構造の部分画像群が生成される。このピラミッド構造では、ある層の部分画像とこの層とは異なる層の部分画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つの部分画像を合成して上層の１つの部分画像を生成する場合、上層の部分画像の解像度は、合成に用いた下層の部分画像の解像度の１／２倍となっている。

このようなピラミッド構造の部分画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の詳細度を切り替えることが可能となる。例えば、最下層の部分画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層の部分画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。

生成されたピラミッド構造の部分画像群は、例えば、メモリ等に記憶することができる。そして、サーバ１５５１２は、他の装置（例えば、解析部１５５３０）から識別情報を含む部分画像の取得要求を受け付けた場合に、識別情報に対応する部分画像を他の装置へ送信する。

なお、病理画像である部分画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎に部分画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。

また、サーバ１５５１２は、ピラミッド構造の部分画像群をサーバ１５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のような部分画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。このように部分画像を使うことにより、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示を制御することにより、仮想顕微鏡のような役割を果たすことができる。ここでの仮想的な観察倍率は、実際には解像度に相当する。

医療情報システム１５５４０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ１５５１２を介して保存された後、表示装置１５５１４に表示され得る。病理システム１５５１０を利用する病理医は、表示装置１５５１３に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム１５５４０に記憶される。

解析部１５５３０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。解析部１５５３０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、解析部１５５３０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。解析部１５５３０で得られたこれらの情報は、診断支援情報として、病理システム１５５１０の表示装置１５５１３に表示されてもよい。

なお、解析部１５５３０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、解析部１５５３０は、病理システム１５５１０内の例えばサーバ１５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム１５５１０内で実行されてもよい。

上述の実施形態で説明した光電変換装置は、以上説明した構成のうち、例えば、顕微鏡１５５１１に好適に適用され得る。具体的には、顕微鏡１５５１１における低解像度撮像部及び／ 又は高解像度撮像部に適用することができる。これにより、低解像度撮像部及び／ 又は高解像度撮像部の小型化、強いては、顕微鏡１５５１１の小型化が可能となる。それにより、顕微鏡１５５１１の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、上述の実施形態で説明した光電変換装置を適用することにより、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡１５５１１内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。

なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。

さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を機械学習を用いて解析することが可能となる。

＜その他の実施形態＞
以上、各実施形態について説明したが、本発明はこれらの実施形態に制限されるものではなく、様々な変更および変形が可能である。また、各実施形態は相互に適用可能である。すなわち、一方の実施形態の一部を他方の実施形態の一部と置換することもできるし、一方の実施形態の一部を他方の実施形態の一部と付加することも可能である。また、ある実施形態の一部を削除することも可能である。

１ 画素部
２ 第１基板
３ 放熱部
５ 第２基板
１０ 機械学習処理部

Claims (17)

1. 複数の画素が配された画素領域を有する第一の基板と、前記第一の基板に積層された第二の基板と、放熱構造とを有する光電変換装置であって、
   前記第二の基板は前記画素領域から出力される画素信号に対して機械学習処理を実行する処理部を有し、
   前記放熱構造は、前記処理部に隣り合う領域、又は平面視で前記処理部に重なる領域に配され、
   前記放熱構造は、前記第二の基板に形成された、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造あるいは
   前記第一の基板に形成され、前記第二の基板と電気的に接続された、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造か、前記画素領域以外の領域に貼り付けられた放熱構造か、のいずれかを含むことを特徴とする光電変換装置。
2. 前記金属接合部を含む構造、前記ＴＳＶ構造又は前記空洞構造は、前記第一の基板と前記第二の基板とを接続することを特徴とする請求項１記載の光電変換装置。
3. 前記放熱構造は前記第一の基板の表面に露出されることを特徴とする請求項１又は２に記載の光電変換装置。
4. 前記放熱構造は前記第一の基板の表面に接しないことを特徴とする請求項１乃至請求項３のいずれか一項に記載の光電変換装置。
5. 前記第一の基板の第一面と、前記第一面に対向する第二面とを有する光電変換装置であって、
   前記放熱構造は前記第二面の表面に露出されることを特徴とする請求項１乃至請求項４のいずれか一項に記載の光電変換装置。
6. 複数の画素が配された画素領域を有する第一の基板と、前記第一の基板に積層される第二の基板と、放熱構造と、を有する光電変換装置であって、
   前記第二の基板は第三面と前記第三面に対向する第四面とを有し、前記第三面は前記第一の基板に貼り合わされ、
   前記放熱構造は、前記第四面側の光電変換装置の表面に露出されるＴＳＶ構造又は空洞構造を含むことを特徴とする光電変換装置。
7. 前記放熱構造は前記第一の基板の表面に接しないことを特徴とする請求項６に記載の光電変換装置。
8. 前記第二の基板に貼り合わされた第三の基板を有する、請求項１乃至請求項７のいずれか一項に記載の光電変換装置。
9. 前記第三の基板が放熱構造を有することを特徴とする請求項８に記載の光電変換装置。
10. 前記放熱構造がＭＥＭＳであることを特徴とする請求項１乃至請求項９のいずれか一項に記載の光電変換装置。
11. 第一の基板と、前記第一の基板に積層された第二の基板と、前記第二の基板に貼り合わされた第三の基板と、を有する光電変換装置であって、
    前記第一の基板は複数の画素が配された画素領域を有し、
    前記第三の基板がＭＥＭＳによる放熱構造であることを特徴とする光電変換装置。
12. 前記放熱構造はマイクロ流体構造を有することを特徴とする請求項１０又は請求項１１記載の光電変換装置。
13. 前記第二の基板は、前記画素領域から出力される画素信号に対して機械学習処理を実行する処理部を有することを特徴とする請求項１２に記載の光電変換装置。
14. 前記放熱構造は、メッシュ状に配置されていることを特徴とする請求項１乃至請求項１３のいずれか一項に記載の光電変換装置。
15. 請求項１乃至請求項１４のいずれか１項に記載の光電変換装置と、
    前記光電変換装置が出力する信号を用いて画像を生成する信号処理部と、を有することを特徴とする光電変換システム。
16. 請求項１乃至請求項１４のいずれか１項に記載の光電変換装置を備える移動体であって、
    前記光電変換装置が出力する信号を用いて前記移動体の移動を制御する制御部を有することを特徴とする移動体。
17. 複数の画素が配された画素領域を有する半導体基板に積層される半導体基板であって、
    前記画素領域から出力される画素信号に対して機械学習処理を実行する処理部と、放熱構造と、を有し、
    前記放熱構造は、前記処理部に隣り合う領域、又は平面視で前記処理部に重なる領域に配され、半導体活性領域か、ポリシリコンか、金属接合部を含む構造か、ＴＳＶ構造か、空洞構造のいずれかを含むことを特徴とする半導体基板。

Images