[go: up one dir, main page]

JP6701199B2 - 測距撮像装置 - Google Patents

測距撮像装置 Download PDF

Info

Publication number
JP6701199B2
JP6701199B2 JP2017532353A JP2017532353A JP6701199B2 JP 6701199 B2 JP6701199 B2 JP 6701199B2 JP 2017532353 A JP2017532353 A JP 2017532353A JP 2017532353 A JP2017532353 A JP 2017532353A JP 6701199 B2 JP6701199 B2 JP 6701199B2
Authority
JP
Japan
Prior art keywords
exposure
signal
distance
light emission
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017532353A
Other languages
English (en)
Other versions
JPWO2017022152A1 (ja
Inventor
昌也 岸本
昌也 岸本
遥 高野
遥 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2017022152A1 publication Critical patent/JPWO2017022152A1/ja
Application granted granted Critical
Publication of JP6701199B2 publication Critical patent/JP6701199B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10Integrated devices
    • H10F39/12Image sensors
    • H10F39/15Charge-coupled device [CCD] image sensors
    • H10F39/153Two-dimensional or three-dimensional array CCD image sensors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10Integrated devices
    • H10F39/12Image sensors
    • H10F39/18Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Description

本発明は、測距撮像装置、及び、当該測距撮像装置に用いられる固体撮像装置に関する。
物体を検知する複数の方式の中で、測定対象物(対象物体)まで光が往復する飛行時間を利用して測距を行うTOF(Time Of Flight)方式が知られている。
TOF方式では、測距精度(測距分解能)と距離範囲とは、照射する光の周波数(発光期間の長さ)に依存し、照射する光の周波数が高いほど高精度な測距が可能となるが、測距可能な距離範囲が狭くなる。
例えば、TOF方式として、複数の異なる周波数の光を照射することで、高い周波数の光を照射したかのような測距精度を保ちながら、低い周波数の光を照射したようなより広い距離範囲の測距を行う技術が知られている(例えば、特許文献1参照)。
特表2013−538342号公報
一般的に、TOFの測距演算では、対象物体からの反射光に対して、少なくとも2つの信号を取得し、取得した信号量から発光と受光との時間差または位相差(対象物体まで光が往復する用に要した時間)を算出することにより、測距演算を行う。しかし、このような測距演算によって算出された測定距離には、実距離に対して周期的な折り返しが生じる。
そこで、特許文献1の構成によれば、複数の異なる周波数の光を照射し測距演算を行うことで折り返しの位置を特定することにより、測距精度の維持及び測距範囲の広範囲化を図ることが検討されている。しかし、折り返しは各周波数において発生するため、上記の特許文献1の構成では、精度良く折り返しの位置を特定するために、多数の異なる周波数の光を照射することが必要である。また、それに伴い、測距演算に必要となる信号の数が増加する。そのため、上記の特許文献1の構成では、それら信号の読み出しに要する時間が増加し、フレームレートが低下するという課題を有している。
上記課題を鑑み、本発明は、測距演算に必要な信号数を抑制しつつ、測距精度の維持及び測距範囲の広範囲化を図ることができる測距撮像装置及び固体撮像装置を提供することを目的とする。
上記課題を解決するために、本発明の一態様に係る測距撮像装置は、光を照射して対象物体からの反射光を受光することによって、当該対象物体までの距離を測定する測距撮像装置であって、発光信号及び露光信号を出力する制御部と、前記発光信号が示すタイミングで前記光を照射する光源部と、前記露光信号が示すタイミングで前記反射光を露光することにより露光量を示す撮像信号を出力する固体撮像装置と、前記撮像信号を用いて前記対象物体までの距離を演算する演算部とを有し、前記制御部は、前記発光信号に対して互いに遅延時間が異なる複数の前記露光信号からなる露光信号群であって、一の前記露光信号の露光期間が終了するまでに他の少なくとも一の前記露光信号の露光期間が開始する第一露光信号群を周期的に繰り返し出力し、さらに、前記発光信号に対して互いに遅延時間が異なる1以上の前記露光信号からなる露光信号群であって、当該1以上の露光信号のいずれも非露光期間となる不感帯期間をもつ第二露光信号群を出力し、前記演算部は、前記第一露光信号群により得られた第一撮像信号を用いて第一の距離値を算出し、前記第二露光信号群により得られた第二撮像信号を用いて第二の距離値を算出し、前記第一の距離値と前記第二の距離値とに基づいて前記距離を演算する。
本発明に係る測距撮像装置等によれば、測距演算に必要な信号数を抑制しつつ、測距精度の維持及び測距範囲の広範囲化を図ることができる。
図1は、実施の形態1に係る測距撮像装置の概略構成の一例を示す機能ブロック図である。 図2は、CCD型の固体撮像素子の機能を表す概略構成図である。 図3は、実施の形態1に係る測距撮像装置の露光量を検出するタイミングの一例を説明する図である。 図4Aは、実施の形態1に係る測距撮像装置の動作を示すタイミングチャートである。 図4Bは、実施の形態1に係る測距撮像装置の動作を示すタイミングチャートである。 図5は、実施の形態1における測定距離と対象物体までの実際の実距離との関係を示すグラフである。 図6は、実施の形態1における距離値に対するノイズリダクションフィルタ処理の一例を示す図である。 図7は、実施の形態1の変形例に係る測距撮像装置の概略構成の一例を示す機能ブロック図である。 図8は、実施の形態2に係る測距撮像装置の概略構成の一例を示す機能ブロック図である。 図9Aは、実施の形態2に係る測距撮像装置の動作を示すタイミングチャートである。 図9Bは、実施の形態2に係る測距撮像装置の動作を示すタイミングチャートである。 図10は、実施の形態2に係る測距撮像装置の動作の他の一例を示すタイミングチャートである。 図11は、実施の形態2に係る測距撮像装置の動作の他の一例を示すタイミングチャートである。 図12は、実施の形態2に係る測距撮像装置の動作の他の一例を示すタイミングチャートである。 図13は、その他の実施の形態に係る測距撮像装置の動作を示すタイミングチャートである。
以下、本開示の実施の形態に係る測距撮像装置について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定するものではない。
(実施の形態1)
図1は、実施の形態1に係る測距撮像装置100の概略構成の一例を示す機能ブロック図である。同図に示す測距撮像装置100は、光(照射光)を照射して対象物体OBからの反射光を受光することによって、対象物体OBまでの距離を測定する。同図に示すように、測距撮像装置100は、光源部1と、固体撮像部(固体撮像装置)2と、駆動制御部4と、TOF演算部3とを備える。なお、同図には、測距撮像装置100によって、当該測距撮像装置100からの距離が測定される対象物体OBも示されている。
光源部1は、発光信号が示すタイミングで光を照射する光源である。本実施の形態では、光源部1は、駆動制御部4で発生された発光信号を受信するタイミングに従って対象物体OBに対して光照射を行う。例えば、光源部1は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで光を発する。発光素子としてはレーザダイオードや発光ダイオード(LED)等のその他の発光素子を用いてもよい。
駆動制御部4は、発光信号及び露光信号を出力する制御部である。具体的には、駆動制御部4は、測定対象物(対象物体OB)への光照射を指示する発光信号と、当該対象物体OBからの反射光の露光を指示する露光信号とを発生する。駆動制御部4は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ(マイクロプロセッサ)、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号及び露光信号を出力する。なお、駆動制御部4は、FPGA(Field−Programmable Gate Array)やISP(In−System Programming)等を用いてもよく、1つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。駆動制御部4から出力される発光信号及び露光信号の詳細については、後述する。
固体撮像部2は、露光信号が示すタイミングで反射光を露光することにより露光量を示すRAW信号(撮像信号)を出力する固体撮像装置である。なお、RAW信号はRAWデータと称される場合もあり、撮像信号は撮像情報と称される場合もあるため、以降、これらについて特に区別せずに記載する。固体撮像部2は、本実施の形態では、対象物体OBを含む領域に対して、駆動制御部4で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応したRAWデータ(撮像情報)を得る。固体撮像部2は、例えば、カメラレンズ、固体撮像素子、及びA/Dコンバータ等のRAWデータを作成し出力する回路を有する。固体撮像部2が有する固体撮像素子の詳細については、後述する。
TOF演算部3は、RAWデータを用いて対象物体OBまでの距離を演算する演算部である。具体的には、TOF演算部3は、固体撮像部2から受けたRAWデータに基づく信号に基づいて、対象物体OBまでの距離情報であるTOF信号(距離信号)を演算して出力する。TOF演算部3は、駆動制御部4と同様に、例えば、マイクロコンピュータ等の演算処理装置によって構成される。TOF演算部3は、メモリに格納された演算プログラムがプロセッサにより実行されることで、TOF信号を演算する。なお、TOF演算部3は、駆動制御部4と同様に、FPGAやISP等を用いてもよく、1つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。TOF演算部3による距離を演算する処理の詳細については、後述する。
次に、固体撮像部2の固体撮像素子の一例について説明する。
図2は、図1の固体撮像部2に用いることができるCCD(Charge Coupled Device)型の固体撮像素子の機能を表す概略構成図である。同図に示すように、CCD型固体撮像素子は、フォトダイオード(PD:Photodiode)20と、垂直転送部21と、水平転送部22と、信号電荷検出部23とを備える。フォトダイオード20は、受光した光を電荷に変換する。垂直転送部21は、複数のゲートから構成され、フォトダイオード20から読み出した電荷を順次垂直方向に転送する。水平転送部22は、垂直転送部21から受けた電荷を順次水平方向に転送する。信号電荷検出部23は、水平転送部22から受けた電荷を順次検出して電圧信号に変換して出力する。
この固体撮像素子は、フォトダイオード20から垂直転送部21への読み出しゲートを開いた状態で、露光信号に従って基板電圧を制御し、露光信号がLowの期間でフォトダイオード20を露光し、当該露光により発生した電荷を垂直転送部21に蓄積する。
つまり、図1の固体撮像部2としてCCDイメージセンサ(CCD型固体撮像素子)を用いることにより、複数のフォトダイオード20を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、更に高精度な測距を実現することができる。
次に、本実施の形態の測距撮像装置100の駆動方法について説明する。以下で説明する駆動方法は、駆動制御部4等により実行される。
図3は、測距撮像装置100の露光量を検出するタイミングの一例を説明する図である。図3の(a)は、1フレームにおけるタイミングの例を示している。図3の(b)は、発光信号φB期間の第一の発光露光期間における露光量B0の露光タイミングを表し、図3の(c)は、発光信号φB期間の第二の発光露光期間における露光量B1の露光タイミングを表し、図3の(d)は、発光信号φB期間の第三の発光露光期間における露光量B2の露光タイミングを表す。
図3の(a)に示すように、本実施の形態では、1フレーム期間に、発光期間(ここではHigh期間)が比較的短い発光信号φAが発光信号として出力される発光信号φA期間と、発光期間が比較的長い発光信号φBが発光信号として出力される発光信号φB期間と、信号出力期間とが含まれる。
なお、発光信号φA期間及び発光信号φB期間における発光信号及び露光信号に関する事項については、発光期間の長短及び後述する不感帯期間を除いてほぼ同様であるため、以下では、発光信号φB期間について主に説明し、発光信号φA期間についての説明は省略する。
まず、図3の(a)及び(b)に示すように、発光信号φB期間の第一の発光露光期間では、露光信号φB0(第一の露光信号)がLowの期間でフォトダイオード20を露光し、当該露光により発生した電荷を垂直転送部21に蓄積する。この動作を本実施の形態ではn回繰り返し、第一の発光露光期間が終了した時点で、垂直転送部21のゲートを制御し、読出しゲートが存在しないパケットに上記電荷を転送する。
ここで、第一の発光露光期間とは、光源部1が発光信号を受信して発光するタイミングに対して、固体撮像部2が第一の遅延時間を経て露光信号を受信し露光を行う期間である。本実施の形態では、露光信号φB0がLowとなっている期間の長さは発光信号期間の長さ(発光信号がHighとなっている期間、つまり発光期間T)の2倍の2×Tに設定され、発光信号に対する露光信号φB0の遅延時間は0に設定されている。すなわち、第一の露光信号期間は、発光信号が送信されている(Highレベルである)期間に設定されている。
続いて、図3の(a)及び(c)に示すように、発光信号φB期間における第二の発光露光期間では、露光信号φB1(第二の露光信号)がLowの期間でフォトダイオード20を露光し、当該露光により発生した電荷を垂直転送部21に蓄積する。この動作を本実施の形態ではn回繰り返し、第二の発光露光期間が終了した時点で、垂直転送部21のゲートを制御し、読出しゲートが存在しないパケットに上記電荷を転送する。
ここで、第二の発光露光期間とは、光源部1が発光信号を受信して発光するタイミングに対して、固体撮像部2が第一の遅延時間と異なる第二の遅延時間を経て露光信号を受信し露光を行う期間である。本実施の形態では、第二の露光信号期間の長さは発光信号期間の長さの2倍であり、第一の露光信号期間の長さと同じ2×Tに設定され、発光信号に対する露光信号φB1の遅延時間は第一の遅延時間0と発光信号期間とが加算されたTに設定されている。
続いて、図3の(a)及び(d)に示すように、発光信号φB期間における第三の発光露光期間では、露光信号φB2(第三の露光信号)がLowの期間でフォトダイオード20を露光し、当該露光により発生した電荷を垂直転送部21に蓄積する。この動作を本実施の形態ではn回繰り返し、第三の発光露光期間が終了した時点で、垂直転送部21のゲートを制御し、露光信号φB0によって露光した電荷が、読出しゲートが存在するパケットに来るように転送する。
ここで、第三の発光露光期間とは、光源部1が発光信号を受信して発光するタイミングに対して、固体撮像部2が第一及び第二の遅延時間とは異なる第三の遅延時間を経て露光信号を受信し露光を行う期間である。本実施の形態では、第三の露光信号期間の長さは発光信号期間の長さの2倍であり、第一及び第二の露光信号期間の長さと同じ2×Tに設定され、発光信号に対する露光信号φB2の遅延時間は第一の遅延時間0と発光信号期間の2倍の2×Tとが加算された2×Tに設定されている。また、本実施の形態では、発光信号φB期間における第三の発光露光期間は、発光動作を行わない。つまり、固体撮像部2は、光源部1が発光信号を受信して発光すると仮定した場合のタイミングに対して、第三の遅延時間を経て露光を行う。
その後、この一連の動作(発光信号φA期間及び発光信号φB期間における動作)を本実施の形態ではN回繰り返した後、垂直転送部21の転送と水平転送部22の転送とを順次繰り返して、上記電荷を信号電荷検出部23で電圧信号に変換して出力する。
これにより、発光信号に対して対象物体OBからの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間で得られる信号を蓄積する手段として、垂直転送部21に既に構成されている複数パケットを利用することができる。よって、追加で信号蓄積手段を形成することが不要となり、同じ面積であればフォトダイオード20を大きく形成でき、飽和感度を大きくすることが可能となり、最大受光量が大きくなり、高精度な測距を実現できる。
続いて、本実施の形態に係る測距撮像装置100による測距撮像のメカニズムについて、図4A〜図5を用いて説明する。
図4A及び図4Bは、本実施の形態に係る測距撮像装置100の動作を示すタイミングチャートであり、露光信号φA0〜φA2、φB0〜φB2の比較関係を示した図である。具体的には、図4Aには、発光信号φA期間における照射光(発光信号φA)、反射光及び露光信号φA0〜φA2のタイミングが示されている。また、図4Bには、発光信号φB期間における照射光(発光信号φB)、反射光及び露光信号φB0〜φB2のタイミングが示されている。
なお、これらの図には、対応する露光信号φA0〜φA2、φB0〜φB2によって得られた露光量についても、ハッチングで示されている。また、これらの図に示す1Tはクロック単位であり、システム(測距撮像装置100)の駆動周波数が50MHzの場合、1T期間は20nsecの時間単位となる。
まず、駆動制御部4は、発光信号及び露光信号を出力し、光源部1は、発光信号がHighの時に光を照射する。固体撮像部2は、露光信号がLowの期間において、対象物体OBによる当該光の反射光の露光を行う。これにより、このLow期間の露光量の総和が光電変換される。そして、TOF演算部3は、固体撮像部2の電圧出力のRAWデータ(撮像信号)に基づいて距離演算を行い、距離画像として出力する。
ここで、発光信号と露光信号との関係は、図4A及び図4Bに示すように、発光信号φAに対して露光信号φA0〜φA2が対応し、発光信号φBに対して露光信号φB0〜φB2が対応している。つまり、いずれの発光信号についても、3パターンの露光信号が対応している。すなわち、発光信号φAは、露光信号φA0〜φA2の遅延の基準である第一発光信号であり、発光信号φBは、露光信号φB0〜φB2の遅延の基準である第二発光信号である。
ここで、露光信号φA0〜φA2は、互いに発光信号φAの発光周期の1/3の長さの時間差をもって露光を行い、反射光に対して少なくとも露光信号φA0〜φA2の1つが常に露光期間となる露光信号群(以下、露光信号群A)となっている。つまり、露光信号群Aは、発光信号(ここでは発光信号φA)に対して互いに遅延時間が異なる複数の露光信号からなる露光信号群であって、一の露光信号の露光期間が終了するまでに他の少なくとも一の露光信号の露光期間が開始する第一露光信号群である。このような露光信号群Aは、駆動制御部4によって周期的に繰り返し出力される。
また、露光信号φB0〜φB2は、互いに発光信号φBの発光周期の1/5の長さの時間差をもって露光を行い、いずれも非露光期間(非露光状態)となる不感帯期間をもつ露光信号群(以下、露光信号群B)となっている。つまり、露光信号群Bは、発光信号(ここでは発光信号φB)に対して互いに遅延時間が異なる1以上の露光信号(本実施の形態では、複数の露光信号)からなる露光信号群であって、当該1以上の露光信号のいずれも非露光期間となる不感帯期間をもつ第二露光信号群である。
具体的には、本実施の形態では、露光信号群Bをなすi個(iは2以上の整数)の露光信号(ここでは、3つの露光信号φB0〜φB2)は、発光信号φBの発光周期の1/j(ただしj>iを満たし、ここではj=5)だけ遅延時間が異なる露光信号群である。このため、露光信号群Bは、複数の露光信号のいずれも非露光期間となる不感帯期間をもつ。
露光信号φB0による露光制御によれば、反射光の全体を露光し、対象物体OBの反射率の情報をもった露光量を検出することができる。また、露光信号φB1による露光制御によれば、発光信号φBの立下がりと同時に露光を開始し、対象物体OBとの距離情報を含む露光量を検出することができる。また、露光信号φB2による露光制御によれば、発光動作を行わないことで、太陽光などの背景光や暗電流成分などのオフセット成分である背景光を検出することができる。
また、発光信号φBのパルス幅は発光信号φAのパルス幅の6倍の発光期間を有する。そのため、発光信号φAと発光信号φBとでは、発光信号φAによる測定の方がより測距精度が高く、発光信号φBによる測定の方がより測距範囲の広範囲化を図ることができる。
そして、露光信号群Aによる露光量をA0、A1、A2、露光信号群Bによる露光量をB0、B1、B2、照射する発光信号φAのパルス幅をT、照射する発光信号φBのパルス幅をT、光速(299792458m/s)をc、露光信号群Aに基づく距離測定値(第一の距離値)をZa、露光信号群Bに基づく距離測定値(第二の距離値)をZb、とすると、露光信号群Aを用いて以下の式1に示す演算を行うことで距離値Zaを算出できる。
ここで、式1において、
(i)最小信号がA2の場合(照射光と反射光との時間差が1T以内)、信号1をA0、信号2をA1、信号3をA2とする。
(ii)最小信号がA0の場合(照射光と反射光との時間差が2T以内)、信号1をA1、信号2をA2、信号3をA0とする。
(iii)最小信号がA1の場合(照射光と反射光との時間差が3T以内)、信号1をA2、信号2をA0、信号3をA1とする。
Figure 0006701199
ただし、露光信号群Aは連続的に(周期的に)繰り返されているため、照射光(発光信号)と反射光との時間差が3T以上の場合には、図5のように折り返しが発生する。
図5は、図4A、図4Bに示すタイミングにおけるTOF演算部3の演算結果である測定距離と対象物体OBまでの実際の実距離との関係を示すグラフである。
同図に示すように、実際には、式2のような、N=0、1、2、…の不確定さが残る。
Figure 0006701199
一方、距離値Zbに対しては、以下の式3の演算を行うことで距離値Zbを算出できる。
Figure 0006701199
このように、TOF演算部3は、露光信号群Aにより得られた第一撮像信号(本実施の形態では、A0、A1及びA2の各々を示すRAWデータ)を用いて第一の距離値(本実施の形態ではZa)を算出する。また、TOF演算部3は、露光信号群Bにより得られた第二撮像信号(本実施の形態では、B0、B1及びB2の各々を示すRAWデータ)を用いて第二の距離値(本実施の形態ではZb)を算出する。そして、TOF演算部3は、以下のように、第一の距離値と第二の距離値とに基づいて、対象物体OBまでの距離を演算する。また、本実施の形態では、TOF演算部3は、第一撮像信号及び第二撮像信号のうち第二撮像信号のみを用いて、第二の距離値を算出する。
ここで、発光信号φBは発光信号φAよりも発光期間が長いため、発光信号φBによる測距精度は発光信号φAによる測距精度よりも低い。しかし、露光信号群Bは反射光に対して露光を行わない期間をもつため、図5に示すように、測定距離において折り返しが発生しない。つまり、露光信号群Bによる測距では、測定距離と対象物体OBとの実距離とが一対一で結びつく。
そのため、Zbと各Nに対するZaとの差分を取得し、その絶対値が最小となるNを求めれば、測距精度が優れている発光信号φAによる測定距離値Zaの不確定さを解消し、対象物体OBとの実距離を高精度に算出することができる。
以上のように、本実施の形態によれば、露光信号群Aと露光信号群Bとを組み合わせることで、発光信号φAにおける折り返しの位置を特定(ディエリアシング)することができる。つまり、TOF演算部3は、Zb(露光信号群Bに基づく距離測定値、すなわち第二の距離値)を用いて特定されるZa(露光信号群Aに基づく距離測定値、すなわち第一の距離値)に生じる折り返し回数を用いて、対象物体OBまでの距離を算出する。このため、発光期間が短い発光信号φAに基づく測距精度を維持しつつ、発光期間が長い発光信号φBに基づく広い測距範囲を実現できる。
言い換えると、本実施の形態によれば、駆動制御部4は、CW(Continuous
Wave)方式及びパルス方式のそれぞれで駆動する。ここで、CW方式とは、それぞれの露光期間が連続的に繋がりを持つ複数の露光信号(本実施の形態では露光信号φA0〜φA2)を出力する駆動方式である。また、パルス方式とは、それぞれの露光期間が連続的に繋がりを持たない複数の露光信号(本実施の形態では露光信号φB0〜φB2)を出力する駆動方式である。また、本実施の形態によれば、TOF演算部3は、パルス方式によって得られた距離情報を用いてCW方式によって得られる距離情報をディエリアシングする。これにより、CW方式による測距精度を維持しつつ、CW方式による距離情報の不確定さ(折り返しによる不確定さ)を解消することにより、測距範囲の広範囲化を図ることができる。
なお、本実施の形態では発光信号φBの発光期間は発光信号φAの発光期間の6倍となるように制御を行ったが、発光信号φAの発光期間と発光信号φBの発光期間との比率は測距範囲に応じて制御を行ってよい。具体的には、発光信号φAの発光期間が短いほど測距精度は高くなり、発光信号φBの発光期間が長いほど測距範囲が広くなる。このため、当該比率は、測距撮像装置100に要求される測距に関する仕様に応じて、適宜設定されればよい。
また、露光信号群(露光信号群A及び露光信号群B)はそれぞれ3つの露光信号からなるとしたが、露光信号の数はこれに限らない。測距撮像装置100は、少なくとも2つ以上の露光信号からなる当該露光信号群を用いることにより、測距演算を行うことができる。
また、TOF演算部3は、Za及びZbの少なくとも一方にノイズリダクションフィルタ処理を行い、当該ノイズリダクションフィルタ処理後の当該少なくとも一方を用いて対象物体OBまでの距離を算出してもかまわない。具体的には、本実施の形態では、TOF演算部3は、ZaとZbとの差分を取得することによりZaの不確定さを解消する際に、Za及びZbの各々についてノイズリダクションフィルタ処理を行ってもかまわない。
図6は、そのような距離値に対するノイズリダクションフィルタ処理の一例を示す図である。同図に示すように、TOF演算部3は、対象画素を中心とした3×3画素領域に対して平均処理やメディアン処理を行い、例えば、対象画素の距離値Za7を平均処理やメディアン処理による算出値Za7’に置き換えるなどのノイズリダクションフィルタ処理を行う。TOF演算部3は、このようなノイズリダクションフィルタ処理をZa及びZbの各々に実施してから、当該処理後のZaとZbとの差分を取得することにより、Zaの不確定さを解消することができる。
このように、Za及びZbの少なくとも一方にノイズリダクションフィルタ処理を行うことにより、対象物体OBまでの距離の誤判定を抑制することができる。具体的には、本実施の形態では、当該処理を行うことによりZaに生じる折り返し回数の誤判定を抑制することができるため、対象物体OBまでの距離の誤判定を抑制することができる。
なお、ノイズリダクションフィルタ処理は、Za及びZbの一方のみに行っても構わないが、Za及びZbのいずれにも行うことにより、対象物体OBまでの距離の誤判定を一層抑制できる。
また、TOF演算部3は、Za及びZbに対して別々にγ補正を行い、γ補正後のZaとZbとの差分を取得することにより、Zaの不確定さを解消してもかまわない。
また、図3では、1フレーム期間において、測距撮像装置100が露光信号群A及び露光信号群Bによって露光していることが示されている。しかし、測距撮像装置100は、1フレーム目で露光信号群Aによって露光し、2フレーム目で露光信号群Bによって露光してもかまわない。つまり、測距撮像装置100は、フレーム分割して露光量を検出してもかまわない。
以上、図面を用いて説明したように、本実施の形態によると、反射光に対して露光期間が連続的に繋がりを持つように繰り返し露光を行う制御と露光期間に連続的に繋がりがない期間を有する露光制御とを組み合わせることで、高周波で動作したかのような測距精度を保ちつつ、低周波で動作したようなより広い距離範囲の測距をTOF演算に必要な信号数を抑制しながら実現できる。これによって、信号の読み出しに要する時間を削減し、フレームレートを向上した測距撮像装置100を実現できる。
つまり、本実施の形態によれば、発光信号φAに対して互いに遅延時間が異なる複数の露光信号φA0〜φA2からなる露光信号群であって、一の露光信号の露光期間が終了するまでに他の少なくとも一の露光信号の露光期間が開始する第一露光信号群Aを用いて、第一の距離値(本実施の形態ではZa)を算出する。また、発光信号φBに対して互いに遅延時間が異なる1以上の露光信号φB0〜φB2からなる露光信号群であって、当該1以上の露光信号φB0〜φB2のいずれも非露光期間となる不感帯期間をもつ第二露光信号群Bを用いて、第二の距離値(本実施の形態ではZb)を算出する。そして、第一の距離値と第二の距離値とに基づいて、対象物体OBまでの距離を演算する。
これにより、第一の距離値に生じる折り返し回数を特定することができるため、第一の距離値の距離精度(距離分解能)を維持しつつ、第二の距離値の距離範囲で対象物体OBまでの距離を演算することができる。すなわち、測距精度の維持及び測距範囲の広範囲化を図ることができる。また、不感帯期間を設けずに多数の異なる周波数の光を連続して照射することで折り返しの位置を特定する場合に比べて、測距演算に必要となる信号(撮像信号)の数を抑制することができる。このため、本実施の形態に係る測距撮像装置100によれば、測距演算に必要な信号数を抑制しつつ、測距精度の維持及び測距範囲の広範囲化を図ることができる。
(実施の形態1の変形例)
なお、固体撮像部は、CCDイメージセンサに限定されるものではなく、測距撮像装置として他の要求を考慮して、CMOSイメージセンサ(CMOS型固体撮像素子)などのその他の固体撮像素子(イメージセンサ)を用いても同様の測距撮像装置の実現が可能である。
図7は、そのような測距撮像装置100Aの概略構成の一例を示す機能ブロック図である。同図に示す測距撮像装置100Aは、上記実施の形態1の測距撮像装置とほぼ同様であるが、固体撮像部2及び駆動制御部4に代わり、固体撮像部2A及びタイミングジェネレータ4A(制御部)を備える。
固体撮像部2Aは、CMOS型固体撮像素子を有する。また、本変形例では、固体撮像部2Aは、測距撮像装置100Aの小型化(微細化)や低消費電力化等を図るため、図7に示すように、タイミングジェネレータ4A及びTOF演算部3とともに1チップで構成されている。
(実施の形態2)
以下、図面を参照しながら、実施の形態2に係る測距撮像装置について、実施の形態1との相違点を中心に説明する。
図8は、実施の形態2に係る測距撮像装置200の概略構成の一例を示す機能ブロック図である。なお、同図には、測距撮像装置200によって、当該測距撮像装置200からの距離が測定される対象物体OBも示されている。
同図に示す測距撮像装置200と、図1に示した測距撮像装置100との違いは、TOF演算部203が、露光信号群Aによって得られた露光量からB0露光制御によって検出される露光量B0とB2露光制御によって検出される露光量B2とを、演算によって算出する点である。
次に、本実施の形態の測距撮像装置200の動作(駆動方法)について説明する。
図9A及び図9Bは、本実施の形態に係る測距撮像装置200の動作を示すタイミングチャートである。具体的には、具体的には、図9Aには、発光信号φA期間における照射光(発光信号φA)、反射光及び露光信号φA0〜φA2のタイミングが示されている。また、図9Bには、発光信号φB期間における照射光(発光信号φB)、反射光及び露光信号φB1のタイミングが示されている。なお、これらの図には、図4A及び図4Bと同様に、対応する露光信号によって得られた露光量についても、ハッチングで示されている。
まず本実施の形態の測距撮像装置200の基本動作について簡単に説明する。
図9Aに示すように、発光信号φA期間では、実施の形態1と同じ動作を行う。
一方、発光信号φB期間では、図9Bに示すように、実施の形態1の露光信号φB1による露光制御だけを行う。
ここで、本実施の形態では、TOF演算部203は、第一撮像信号(本実施の形態では、A0、A1及びA2の各々を示すRAWデータ)よりも信号数の少ない第二撮像信号(本実施の形態では、B1を示すRAWデータ)を用いて、第二の距離値(本実施の形態ではZb)を算出する。具体的には、TOF演算部203は、当該第一撮像信号を用いて、第二露光信号群の各露光信号(本実施の形態では露光信号φB1)と露光期間が同じであって発光信号に対する遅延時間が異なる露光信号(本実施の形態では、露光信号φB0及びφB2)が駆動制御部4から出力された場合に得られる撮像信号(本実施の形態では、B0及びB2の各々を示すRAWデータ)を推定する。そして、TOF演算部203は、推定した撮像信号と当該第二撮像信号とを用いて当該第二の距離値を算出する。
以下、このようなTOF演算部203による、露光信号φB0及びφB2が駆動制御部4から出力された場合に得られる露光量B0、露光量B2を推定する方法について、具体的に説明する。
露光量B0、B2については、露光量A0、A1、A2を用いて、以下の式4〜式6に示す演算を行う事で算出できる。
(i)最小信号がA2の場合
B0=6×(A0+A1)、B2=12×A2 (式4)
(ii)最小信号がA0の場合
B0=6×(A1+A2)、B2=12×A0 (式5)
(iii)最小信号がA1の場合
B0=6×(A0+A2)、B2=12×A1 (式6)
そして、距離値Za及びZbにおいては、実施の形態1と同じ演算式で算出可能であり、Zaの不確定さを解消することで、被写体との実距離を算出できる。
以上のように、本実施の形態では、露光信号群Aと露光信号φB1による露光制御とを組み合わせることで、実施の形態1と同じ測距精度と測距範囲でありながら、測距演算に必要な信号の数を露光量A0、A1、A2、B0、B1、B2の各々を示す6つの撮像信号(RAWデータ)から露光量A0、A1、A2、B1の各々を示す4つの撮像信号に抑制できるため、読み出しに要する時間を削減し、フレームレートを向上させることができる。
なお、露光信号φB1の露光期間は、図9Bに示す12Tに限らず、例えば、半分の6Tであってもかまわない。図10は、そのような露光信号φB1を示すタイミングチャートである。具体的には、同図には、図9B同様、照射光、反射光及び露光信号φB1のタイミングと、露光量とが示されている。露光信号φB1による露光制御においては、図10のように、露光期間を半分にすることにより、露光信号φB1の露光期間が長い場合と同じ測距範囲を維持しながら、混入する背景光の影響を半減化できる。
また、露光信号φB1の露光期間は、発光信号の発光期間と同期していてもかまわない。図11は、そのような露光信号φB1を示すタイミングチャートであり、図10同様、各種の信号等のタイミング及び露光量が示されている。つまり、露光信号φB1による露光制御は、図11のように、発光期間と露光期間とを同期させた露光制御でもよい。
また、露光信号φA0〜φA2は、これらがいずれも非露光期間となる不感帯期間をもたなければよく、互いの露光期間が重なっていてもかまわない。図12は、そのような露光信号φA0〜φA2を示すタイミングチャートである。具体的には、同図には、図9A同様、照射光、反射光及び露光信号φA0〜φA2のタイミングと、露光量とが示されている。露光信号φA0〜φA2は、図12のように、露光期間に重なりをもっていてもよい。この場合、露光量A0、A1、A2の大小関係に応じて、距離値Zaは以下の式7〜式12で算出することができる。
Figure 0006701199
そして、露光量B0、B2は、以下の式13に示す演算を行うことで算出できる。
Figure 0006701199
すなわち、露光量A0、A1、A2において、最大信号と最小信号との差は常に発光期間が1T分の露光量となる。そのため、図10及び図11における発光期間との比率を掛け合わせ、そこから背景光成分に相当する露光量B2を加算すれば露光量B0が算出できる。
また、背景光成分に相当する露光量B2に関しては、露光量A0、A1、A2において、最大信号と中間信号との和が常に発光期間2T分の露光量となること、最小信号と中間信号との和が常に発光期間1T分の露光量となることから、以下の式14及び式15の関係が成り立つ。
Figure 0006701199
このため、露光量B2は以下の式16で示すように算出できる。
Figure 0006701199
このように、TOF演算部203は、第一撮像信号(本実施の形態では、A0、A1及びA2の各々を示すRAWデータ)からオフセット成分と反射光の全てを露光した成分の少なくとも一方(本実施の形態では両方)を算出し、当該少なくとも一方の成分と第二撮像信号(本実施の形態では、B1を示すRAWデータ)とを用いて距離値Zbを算出する。
具体的には、本実施の形態では、TOF演算部203は、A0、A1及びA2の各々を示すRAWデータの最大信号と最小信号との差から反射光の全てを露光した成分を算出する。また、TOF演算部203は、A0、A1及びA2の各々を示すRAWデータの最大信号と中間信号との和、及び、最小信号と中間信号との和、の差からオフセット成分を算出する。そして、TOF演算部203は、算出したオフセット成分と反射光の全てを露光した成分とを用いて、第二露光信号群(本実施の形態では露光信号φB1)と露光期間が同じであって発光信号φBに対する遅延時間が異なる露光信号(本実施の形態では、露光信号φB0及びφB2)により得られる撮像信号(本実施の形態では、露光量B0、B2の各々を示すRAWデータ)を推定する。つまり、TOF演算部203は、露光量B0、B2を推定し、実測により得られた露光量B1と推定により得られた露光量B0、B2とから、距離値Zbを算出する。
このように構成された本実施の形態に係る測距撮像装置200によっても、実施の形態1に係る測距撮像装置100と同様に、第一の距離値(本実施の形態ではZa)に生じる折り返し回数を特定することができるため、測距演算に必要な信号数を抑制しつつ、測距精度の維持及び測距範囲の広範囲化を図ることができる。
また、本実施の形態では、第一撮像信号(本実施の形態では、露光量A0〜A2の各々を示すRAWデータ)を用いて、第二撮像信号(本実施の形態では、露光量B0、B2の各々を示すRAWデータ)を推定する。これにより、露光信号φB0、φB2を発生させて露光量B0、B2を検出しなくとも、露光信号群Aによる露光制御及び露光信号φB1による露光制御を行うだけで、測距演算を行うことができる。
なお、TOF演算部203は、第一撮像信号からオフセット成分と反射光の全てを露光した成分の少なくとも一方を算出すればよく、両方を算出しなくてもかまわない。
(その他の実施の形態)
以上、本開示の測距撮像装置について、上記実施の形態及び変形例に基づいて説明してきたが、本開示の測距撮像装置は、上記実施の形態及び変形例に限定されるものではない。上記実施の形態及び変形例における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態及び変形例に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の測距撮像装置を内蔵した各種機器も本発明に含まれる。
例えば、上記実施の形態1では、不感帯期間を持つ露光信号群Bをなすi個(iは2以上の整数)の露光信号(ここでは、3つの露光信号φB0〜φB2)は、発光信号φBの発光周期の1/j(ただしj>iを満たし、ここではj=5)だけ遅延時間が異なる露光信号群であるとした。しかし、不感帯期間を持つ露光信号群Bは、当該発光周期に対して上記遅延時間の関係を有する信号に限らない。
図13は、そのような露光信号群Bを示すタイミングチャートである。具体的には、同図には、図4Bと同様に、照射光(発光信号φB)、反射光及び露光信号φB0〜φB2のタイミングが示されている。同図に示すように、露光信号群Bの一部の露光信号(ここでは露光信号φB2)が出力される期間において、発光信号φBをLowにすることで発光動作が行われない場合、当該一部の露光信号の遅延時間は、例えば発光信号が出力されると仮定される時間に対して遅延時間が0であってもかまわない。つまり、当該場合、露光信号群Bをなす複数の露光信号φB0〜φB2のうち一部の露光信号の遅延時間が同じであってもかまわない。
また、本発明は、測距撮像装置として実現することができるだけでなく、当該測距撮像装置に用いられる固体撮像部2または2A等の固体撮像装置として実現することができる。つまり、本発明に係る固体撮像装置は、光を照射して対象物体からの反射光を受光することによって、当該対象物体までの距離を測定する測距撮像装置に用いられる固体撮像装置である。当該測距撮像装置は、上記説明した、駆動制御部4等の制御部と、光源部1と、TOF演算部3等の演算部とを有する。また、当該固体撮像装置は、第一露光信号群の各露光信号が示すタイミングで反射光を露光することにより、第一露光信号群に対応する露光量を示す第一撮像信号を演算部に出力し、さらに、第二露光信号群の各露光信号が示すタイミングで反射光を露光することにより、第二露光信号群に対応する露光量を示す第二撮像信号を前記演算部に出力する。
このような固体撮像装置が測距撮像装置に用いられることにより、上記説明した測距撮像装置と同様に、測距演算に必要な信号数を抑制しつつ、測距精度の維持及び測距範囲の広範囲化を図ることができる。
また、本発明は、このような特徴的な構成を備える測距撮像装置として実現することができるだけでなく、測距方法、または、当該測距撮像装置の駆動方法として実現されてもかまわない。
このような測距方法、または、当該測距撮像装置の駆動方法は、発光信号に対して互いに遅延時間が異なる複数の露光信号からなる露光信号群であって、一の露光信号の露光期間が終了するまでに他の少なくとも一の露光信号の露光期間が開始する第一露光信号群を周期的に繰り返し出力する第一出力ステップと、発光信号に対して互いに遅延時間が異なる1以上の露光信号からなる露光信号群であって、当該1以上の露光信号のいずれも非露光期間となる不感帯期間をもつ第二露光信号群を出力する第二出力ステップと、第一出力ステップにより得られた第一撮像信号を用いて第一の距離値を算出し、第二出力ステップにより得られた第二撮像信号を用いて第二の距離値を算出し、第一の距離値と第二の距離値とに基づいて距離を演算する演算ステップとを含む。
このような測距方法または駆動方法によっても、上記説明した測距撮像装置と同様に、演算に必要な信号数を抑制しつつ、測距精度の維持及び測距範囲の広範囲化を図ることができる。
本発明に係る測距撮像装置は、周辺環境に依存することなく、測定対象物の高精度な3次元測定が実現できるため、例えば、人物、建物などの3次元測定に有用である。
1 光源部
2、2A 固体撮像部(固体撮像装置)
3、203 TOF演算部(演算部)
4 駆動制御部(制御部)
4A タイミングジェネレータ(制御部)
20 フォトダイオード
21 垂直転送部
22 水平転送部
23 信号電荷検出部
100、100A、200 測距撮像装置
OB 対象物体

Claims (7)

  1. パルス光を照射して対象物体からの反射光を受光することによって、当該対象物体までの距離を測定する測距撮像装置であって、
    発光信号及び露光信号を出力する制御部と、
    前記発光信号が示すタイミングで前記パルス光を照射する光源部と、
    前記露光信号が示すタイミングで前記反射光を露光することにより露光量を示す撮像信号を出力する固体撮像装置と、
    前記撮像信号を用いて前記対象物体までの距離を演算する演算部とを有し、
    前記制御部は、
    前記発光信号に対して互いに遅延時間が異なる複数の前記露光信号からなる露光信号群であって、一の前記露光信号の露光期間が終了するまでに他の少なくとも一の前記露光信号の露光期間が開始する第一露光信号群を周期的に繰り返し出力し、
    さらに、前記発光信号に対して互いに遅延時間が異なる1以上の前記露光信号からなる露光信号群であって、当該1以上の露光信号のいずれも非露光期間となる不感帯期間をもつ第二露光信号群を出力し、
    前記演算部は、前記第一露光信号群により得られた第一撮像信号を用いて第一の距離値を算出し、前記第二露光信号群により得られた第二撮像信号を用いて第二の距離値を算出し、前記第一の距離値と前記第二の距離値とに基づいて前記距離を演算し、
    前記演算部は、前記第二の距離値を用いて特定される前記第一の距離値に生じる折り返し回数を用いて、前記距離を演算する
    測距撮像装置。
  2. 前記制御部は、前記発光信号として、前記第一露光信号群の各露光信号の遅延の基準である第一発光信号、及び、前記第二露光信号群の各露光信号の遅延の基準である第二発光信号を出力し、
    前記第二発光信号は、前記第一発光信号より発光期間が長い信号である
    請求項1に記載の測距撮像装置。
  3. 前記演算部は、前記第一撮像信号よりも信号数の少ない前記第二撮像信号を用いて、前
    記第二の距離値を算出する
    請求項1または2に記載の測距撮像装置。
  4. パルス光を照射して対象物体からの反射光を受光することによって、当該対象物体までの距離を測定する測距撮像装置であって、
    発光信号及び露光信号を出力する制御部と、
    前記発光信号が示すタイミングで前記パルス光を照射する光源部と、
    前記露光信号が示すタイミングで前記反射光を露光することにより露光量を示す撮像信号を出力する固体撮像装置と、
    前記撮像信号を用いて前記対象物体までの距離を演算する演算部とを有し、
    前記制御部は、
    前記発光信号に対して互いに遅延時間が異なる複数の前記露光信号からなる露光信号群であって、一の前記露光信号の露光期間が終了するまでに他の少なくとも一の前記露光信号の露光期間が開始する第一露光信号群を周期的に繰り返し出力し、
    さらに、前記発光信号に対して互いに遅延時間が異なる1以上の前記露光信号からなる露光信号群であって、当該1以上の露光信号のいずれも非露光期間となる不感帯期間をもつ第二露光信号群を出力し、
    前記演算部は、前記第一露光信号群により得られた第一撮像信号を用いて第一の距離値を算出し、前記第二露光信号群により得られた第二撮像信号を用いて第二の距離値を算出し、前記第一の距離値と前記第二の距離値とに基づいて前記距離を演算し、
    前記演算部は、前記第一撮像信号よりも信号数の少ない前記第二撮像信号を用いて、前記第二の距離値を算出し、
    前記演算部は、前記第一撮像信号を用いて、前記第二露光信号群の各露光信号と露光期間が同じであって前記発光信号に対する遅延時間が異なる露光信号が前記制御部から出力された場合に得られる前記撮像信号を推定し、推定した前記撮像信号と前記第二撮像信号とを用いて前記第二の距離値を算出する
    測距撮像装置。
  5. パルス光を照射して対象物体からの反射光を受光することによって、当該対象物体までの距離を測定する測距撮像装置であって、
    発光信号及び露光信号を出力する制御部と、
    前記発光信号が示すタイミングで前記パルス光を照射する光源部と、
    前記露光信号が示すタイミングで前記反射光を露光することにより露光量を示す撮像信号を出力する固体撮像装置と、
    前記撮像信号を用いて前記対象物体までの距離を演算する演算部とを有し、
    前記制御部は、
    前記発光信号に対して互いに遅延時間が異なる複数の前記露光信号からなる露光信号群であって、一の前記露光信号の露光期間が終了するまでに他の少なくとも一の前記露光信号の露光期間が開始する第一露光信号群を周期的に繰り返し出力し、
    さらに、前記発光信号に対して互いに遅延時間が異なる1以上の前記露光信号からなる露光信号群であって、当該1以上の露光信号のいずれも非露光期間となる不感帯期間をもつ第二露光信号群を出力し、
    前記演算部は、前記第一露光信号群により得られた第一撮像信号を用いて第一の距離値を算出し、前記第二露光信号群により得られた第二撮像信号を用いて第二の距離値を算出し、前記第一の距離値と前記第二の距離値とに基づいて前記距離を演算し、
    前記演算部は、前記第一撮像信号からオフセット成分と前記反射光の全てを露光した成分との少なくとも一方を算出し、当該少なくとも一方の成分と前記第二撮像信号とを用いて前記第二の距離値を算出する
    測距撮像装置。
  6. 前記演算部は、前記第一撮像信号及び前記第二撮像信号のうち前記第二撮像信号のみを用いて、前記第二の距離値を算出する
    請求項1または2に記載の測距撮像装置。
  7. 前記演算部は、前記第一の距離値及び前記第二の距離値の少なくとも一方にノイズリダクションフィルタ処理を行い、当該ノイズリダクションフィルタ処理後の前記少なくとも一方を用いて前記距離を算出する
    請求項1、4または5に記載の測距撮像装置
JP2017532353A 2015-07-31 2016-05-23 測距撮像装置 Expired - Fee Related JP6701199B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015152764 2015-07-31
JP2015152764 2015-07-31
PCT/JP2016/002485 WO2017022152A1 (ja) 2015-07-31 2016-05-23 測距撮像装置、及び、固体撮像装置

Publications (2)

Publication Number Publication Date
JPWO2017022152A1 JPWO2017022152A1 (ja) 2018-05-17
JP6701199B2 true JP6701199B2 (ja) 2020-05-27

Family

ID=57942674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532353A Expired - Fee Related JP6701199B2 (ja) 2015-07-31 2016-05-23 測距撮像装置

Country Status (5)

Country Link
US (1) US10545239B2 (ja)
EP (1) EP3330739A4 (ja)
JP (1) JP6701199B2 (ja)
CN (1) CN107850669B (ja)
WO (1) WO2017022152A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018181250A1 (ja) * 2017-03-30 2020-02-06 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
US10627492B2 (en) 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
EP3622315A4 (en) * 2017-08-31 2020-12-16 SZ DJI Technology Co., Ltd. SEMICONDUCTOR LIGHT DISTANCE DETECTION AND TELEMETRY (LIDAR) SYSTEM
CN111095018B (zh) 2017-08-31 2022-03-29 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统、用于提高固态光探测和测距(lidar)分辨率的系统和方法
CN109031330B (zh) * 2018-07-12 2020-09-18 维沃移动通信有限公司 一种测量物体距离的方法及终端设备
CN112470458B (zh) * 2018-07-23 2023-02-28 新唐科技日本株式会社 距离测定装置及可靠性判定方法
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2020049906A1 (ja) * 2018-09-03 2020-03-12 パナソニックIpマネジメント株式会社 距離測定装置
JP7154924B2 (ja) * 2018-10-03 2022-10-18 株式会社日立エルジーデータストレージ 測距撮像装置
JP2020067385A (ja) 2018-10-25 2020-04-30 ソニーセミコンダクタソリューションズ株式会社 演算処理装置、測距装置及び演算処理方法
CN113597567A (zh) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 距离图像的获得方法、以及距离检测装置
WO2021001975A1 (ja) * 2019-07-04 2021-01-07 株式会社ブルックマンテクノロジ 距離画像撮像装置及び距離画像撮像方法
JP7257275B2 (ja) 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ 3次元距離測定装置
EP3798673A1 (en) * 2019-09-25 2021-03-31 Xenomatix NV Method and device for determining distances to a scene
WO2021186289A1 (en) * 2020-03-18 2021-09-23 Ricoh Company, Ltd. Distance-measuring apparatus and distance-measuring method
JP2021197284A (ja) * 2020-06-15 2021-12-27 ソニーセミコンダクタソリューションズ株式会社 光源駆動装置、光源装置および測距装置
EP4474860A4 (en) * 2022-02-01 2025-04-30 Koito Manufacturing Co., Ltd. Measurement device
CN120077300A (zh) * 2022-10-18 2025-05-30 新唐科技日本株式会社 测距装置和测距方法
CN118795491A (zh) * 2023-04-11 2024-10-18 深圳奥锐达科技有限公司 一种飞行时间测量系统及测量方法
JP2025125087A (ja) * 2024-02-15 2025-08-27 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd 3次元入力方法および3次元入力装置
ATE310268T1 (de) * 2001-04-04 2005-12-15 Instro Prec Ltd System zur bildanalyse
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP2007121116A (ja) * 2005-10-28 2007-05-17 Sharp Corp 光学式測距装置
US7791715B1 (en) 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
JP5190663B2 (ja) * 2007-03-27 2013-04-24 スタンレー電気株式会社 距離画像生成装置
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
KR101279103B1 (ko) 2009-02-27 2013-06-26 파나소닉 주식회사 거리 측정 장치
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
JP5244076B2 (ja) * 2009-11-24 2013-07-24 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5493942B2 (ja) * 2009-12-15 2014-05-14 ソニー株式会社 撮像装置と撮像方法
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
CN102298149B (zh) * 2010-06-25 2016-04-27 原相科技股份有限公司 提高精确度、移动侦测效率、省电的时差测距系统及方法
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP6241793B2 (ja) * 2012-12-20 2017-12-06 パナソニックIpマネジメント株式会社 3次元測定装置および3次元測定方法
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
CN104755874B (zh) * 2013-04-01 2018-08-28 松下知识产权经营株式会社 具有多个光源的运动传感器装置
WO2014207992A1 (ja) 2013-06-26 2014-12-31 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法
WO2014208018A1 (ja) * 2013-06-26 2014-12-31 パナソニックIpマネジメント株式会社 測距システム
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックIpマネジメント株式会社 測距システム及び信号発生装置
EP2890125B1 (en) * 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
CN105899966B (zh) * 2014-01-14 2019-05-07 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera

Also Published As

Publication number Publication date
US20180149750A1 (en) 2018-05-31
CN107850669A (zh) 2018-03-27
US10545239B2 (en) 2020-01-28
JPWO2017022152A1 (ja) 2018-05-17
CN107850669B (zh) 2021-10-12
EP3330739A4 (en) 2018-08-15
WO2017022152A1 (ja) 2017-02-09
EP3330739A1 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6701199B2 (ja) 測距撮像装置
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
US10686994B2 (en) Imaging device, and solid-state imaging element used for same
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
JP6241793B2 (ja) 3次元測定装置および3次元測定方法
EP3425901A1 (en) Imaging device and solid-state imaging element used in same
WO2015128915A1 (ja) 測距装置及び測距方法
JPWO2015190015A1 (ja) 測距装置、およびそれに用いられる固体撮像素子
JP2020046247A (ja) 距離計測装置、及び距離計測方法
JP2012225807A (ja) 距離画像カメラおよび距離画像合成方法
US20200408910A1 (en) Distance measuring method and distance measuring device
US20230204727A1 (en) Distance measurement device and distance measurement method
WO2021107036A1 (ja) 測距撮像装置
JP2020008483A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R151 Written notification of patent or utility model registration

Ref document number: 6701199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees