[go: up one dir, main page]

JP2016080534A - Projection device and parallax acquisition device - Google Patents

Projection device and parallax acquisition device Download PDF

Info

Publication number
JP2016080534A
JP2016080534A JP2014212746A JP2014212746A JP2016080534A JP 2016080534 A JP2016080534 A JP 2016080534A JP 2014212746 A JP2014212746 A JP 2014212746A JP 2014212746 A JP2014212746 A JP 2014212746A JP 2016080534 A JP2016080534 A JP 2016080534A
Authority
JP
Japan
Prior art keywords
light
optical system
projection
light source
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014212746A
Other languages
Japanese (ja)
Inventor
藤田 和弘
Kazuhiro Fujita
和弘 藤田
高橋 達也
Tatsuya Takahashi
達也 高橋
村井 俊晴
Toshiharu Murai
俊晴 村井
丈裕 西森
Takehiro Nishimori
丈裕 西森
貴洋 加戸
Takahiro Kato
貴洋 加戸
潤 岸和田
Jun Kishiwada
潤 岸和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014212746A priority Critical patent/JP2016080534A/en
Publication of JP2016080534A publication Critical patent/JP2016080534A/en
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a projection device capable of more increasing power efficiency and a parallax acquisition device.SOLUTION: The projection device is the projection device for projecting pattern light onto an imaged specimen and includes a light source for emitting light not including a wavelength longer than a wavelength whose relative luminous efficiency is highest, a light condensing optical system for condensing the light, a formation part illuminated by the condensing optical system, to form the pattern light, and a projection optical system for projecting the pattern light.SELECTED DRAWING: Figure 1

Description

本発明は投射装置及び視差取得装置に関する。   The present invention relates to a projection device and a parallax acquisition device.

パターン光が投射された被検物を、ステレオカメラにより撮像し、いわゆるステレオ測距により、撮像された画像から被検物までの距離情報を取得する技術が既に知られている。このステレオ測距では、2つの画像間に生じる被写体の視差を利用して、三角測量の原理により被検物までの距離を算出する。披検物に濃淡及び模様等の特徴がない場合でも、ランダムパターン等を表すパターン光が被検物に投射されることにより、2つの画像間の対応点が明確になり、いわゆるステレオ測距を用いて被検物までの距離情報を取得することができる。   There is already known a technique in which a test object on which pattern light is projected is captured by a stereo camera, and distance information from the captured image to the test object is acquired by so-called stereo distance measurement. In this stereo ranging, the distance to the test object is calculated based on the principle of triangulation using the parallax of the subject generated between two images. Even if the test object has no features such as shading and pattern, the pattern light representing the random pattern etc. is projected onto the test object, so that the corresponding points between the two images become clear, so-called stereo ranging is performed. The distance information to the test object can be acquired.

特許文献1には、距離計測用の投光パターン画像の適性を判定し、高精度な距離画像を生成可能なランダムパターン生成装置の発明が開示されている。また特許文献2には、計測対象に投光するパターンとして、より適切なパターンの生成を実現する投光パターンの生成装置の発明が開示されている。   Patent Document 1 discloses an invention of a random pattern generation apparatus that can determine the suitability of a projection pattern image for distance measurement and generate a highly accurate distance image. Patent Document 2 discloses an invention of a light projection pattern generation apparatus that realizes generation of a more appropriate pattern as a pattern to be projected onto a measurement target.

しかしながら黒い被検物等のように被検物の撮像が難しい場合、撮像精度を向上させるために光源の出力を上げると、消費電力が大きくなり、装置のランニングコストが上がる問題があった。   However, when it is difficult to image a test object such as a black test object, if the output of the light source is increased in order to improve the imaging accuracy, there is a problem that the power consumption increases and the running cost of the apparatus increases.

本発明は、上記に鑑みてなされたものであって、電力効率をより向上させることができる投射装置及び視差取得装置を提供することを目的とする。   The present invention has been made in view of the above, and an object thereof is to provide a projection device and a parallax acquisition device that can further improve power efficiency.

上述した課題を解決し、目的を達成するために、本発明は、撮像される被検物にパターン光を投射する投射装置であって、比視感度の最も高い波長よりも長い波長を含まない光を発光する光源と、前記光を集光する集光光学系と、前記集光光学系によって照明されることによりパターン光を形成する形成部と、前記パターン光を投射する投射光学系と、を備える。   In order to solve the above-described problems and achieve the object, the present invention is a projection device that projects pattern light onto an object to be imaged, and does not include a wavelength longer than the wavelength having the highest relative visibility. A light source that emits light, a condensing optical system that condenses the light, a forming unit that forms pattern light by being illuminated by the condensing optical system, a projection optical system that projects the pattern light, Is provided.

本発明によれば、電力効率をより向上させることができるという効果を奏する。   According to the present invention, there is an effect that the power efficiency can be further improved.

図1は第1実施形態の投射装置の構成の例を示す図である。FIG. 1 is a diagram illustrating an example of the configuration of the projection apparatus according to the first embodiment. 図2は光の波長とY刺激値との関係を示すグラフである。FIG. 2 is a graph showing the relationship between the wavelength of light and the Y stimulus value. 図3は第2実施形態の視差取得装置の構成の例を示す図である。FIG. 3 is a diagram illustrating an example of the configuration of the parallax acquisition device according to the second embodiment. 図4は第2実施形態の投射装置の構成の例を示す図である。FIG. 4 is a diagram illustrating an example of the configuration of the projection apparatus according to the second embodiment. 図5は第2実施形態の反射拡散板の構成の例を示す図である。FIG. 5 is a diagram showing an example of the configuration of the reflection diffusion plate of the second embodiment. 図6は第2実施形態のステレオカメラの構成の例を示す図である。FIG. 6 is a diagram illustrating an example of the configuration of the stereo camera of the second embodiment.

以下に添付図面を参照して、投射装置及び視差取得装置の実施形態を詳細に説明する。   Hereinafter, embodiments of a projection device and a parallax acquisition device will be described in detail with reference to the accompanying drawings.

(第1実施形態)
図1は第1実施形態の投射装置100の構成の例を示す図である。第1実施形態の投射装置100は、光源1、集光素子2、集光素子3、形成部4及び投射光学系5を備える。投射装置100は投射面6に配置される被検物に光を投射する。
(First embodiment)
FIG. 1 is a diagram illustrating an example of a configuration of a projection apparatus 100 according to the first embodiment. A projection apparatus 100 according to the first embodiment includes a light source 1, a condensing element 2, a condensing element 3, a forming unit 4, and a projection optical system 5. The projection device 100 projects light onto a test object arranged on the projection surface 6.

光源1は、例えば発光ダイオード(LED)又は半導体レーザ(LD)等の固体光源である。発光ダイオードは、電流の注入によって電子と正孔とが移動し、P型半導体とN型半導体の接合面(ジャンクション)で電子と正孔とが結合したときに、電子の持っていたエネルギーを光として放出する固体光源である。半導体レーザは、接合部の狭い領域に注入された電子により、最初に放出された光から、次々と誘導放出を生じさせて、雪崩のように光量を増幅させるレーザ発振の原理を利用した固体光源である。固体光源は、注入された電流(電子)を、光エネルギーに変換するため、非常に効率のよい光の出力が可能となる。   The light source 1 is a solid light source such as a light emitting diode (LED) or a semiconductor laser (LD). A light emitting diode moves electrons and holes by current injection, and when electrons and holes are bonded at the junction (junction) between a P-type semiconductor and an N-type semiconductor, It is a solid light source that emits as A semiconductor laser is a solid-state light source that uses the principle of laser oscillation that amplifies the amount of light like an avalanche by causing stimulated emission one after another from the light emitted first by electrons injected into a narrow area of the junction It is. The solid light source converts the injected current (electrons) into light energy, so that very efficient light output is possible.

ここで光の波長と、比視感度と、光エネルギーとの関係について説明する。   Here, the relationship among the wavelength of light, specific luminous efficiency, and light energy will be described.

図2は光の波長とY刺激値との関係を示すグラフである。人の目は比視感度特性を持っており、光の波長に応じて感度特性が異なる。1Wあたりの明るさは、lm=683×Y刺激値で表すことができる。Y刺激値(比視感度)は、波長の長さに応じて0〜1の範囲の値をとる。Y刺激値の値が大きい程、感度が高く、人の目にとって明るく感じる。Y刺激値は、波長の長さが555nmのときに、最も高い値(Y=1.0)をとる。   FIG. 2 is a graph showing the relationship between the wavelength of light and the Y stimulus value. The human eye has a specific visibility characteristic, and the sensitivity characteristic varies depending on the wavelength of light. The brightness per 1 W can be expressed as lm = 683 × Y stimulus value. The Y stimulus value (specific luminous sensitivity) takes a value in the range of 0 to 1 depending on the length of the wavelength. The larger the Y stimulus value, the higher the sensitivity and the brighter the human eye feels. The Y stimulation value takes the highest value (Y = 1.0) when the wavelength length is 555 nm.

より具体的には、Y刺激値は、青色領域101ではY=0.03〜0.06程度、緑色領域102ではY=0.7〜1.0程度、赤色領域103ではY=0.25〜0.5程度となる。すなわちY刺激値は、緑色領域102の値が最も高く、赤色領域103及び青色領域101の値は小数点2桁台で、他の色のY刺激値より1桁小さい値となっている。   More specifically, the Y stimulus value is about Y = 0.03 to 0.06 in the blue region 101, about Y = 0.7 to 1.0 in the green region 102, and Y = 0.25 in the red region 103. ˜0.5. That is, the Y stimulus value is the highest in the green region 102, and the values in the red region 103 and the blue region 101 are two digits in the decimal point, and are one digit smaller than the Y stimulus values of other colors.

しかしながら青色(紫色)は人の目には暗く見えるものの、波長が短い(振動数が大きい)ため、光エネルギーは高い。つまり人間の目にはまぶしくない光であっても、波長の短い光であれば、光エネルギーとしては大きい。例えば青色単色光は、光を受光し、光のエネルギーを電力に変える光センサー及び撮像素子等を用いるカメラに十分な光量を与えることができる。つまり青色単色光でパターンを投射すれば、低い光束量のルーメン値であっても、他の色よりも高い光のパワーを撮像素子に与えることができる。言い換えると、青色単色光は投入した電力に応じて高い光出力を得ることができ、電力効率が高い。   However, although blue (purple) looks dark to human eyes, its light energy is high because of its short wavelength (high frequency). In other words, even if it is light that is not dazzling to human eyes, light with a short wavelength has a large light energy. For example, blue monochromatic light can provide a sufficient amount of light to a camera that uses a light sensor, an image sensor, and the like that receive light and convert the light energy into electric power. That is, if a pattern is projected with blue monochromatic light, even if the lumen value has a low luminous flux, higher power of light than other colors can be given to the image sensor. In other words, the blue monochromatic light can obtain a high light output according to the input electric power, and has high power efficiency.

固体光源の材料には、GaAsP系、GaP系、AlGaAs系、AlGaInP系及びInGaN系等がある。GaAsP系の材料の発光色は朱―赤(ピーク波長が570〜800nm)であり、発光効率は0.2〜1.0lm/Wである。GaP系の材料の発光色は緑(ピーク波長が480−570nm)であり、発光効率は2.0〜3.0lm/Wである。AlGaAs系の材料の発光色は赤(ピーク波長が620−670nm)であり、発光効率は6〜12lm/Wである。AlGaInP系の材料の発光色は朱―緑(ピーク波長が560−650nm)であり、発光効率は15〜40lm/Wである。InGaN系の材料の発光色は青―緑(ピーク波長が400−470nm)であり、発光効率は10〜50lm/Wである。光出力をワット(W)換算すると、InGaN系が最も電力効率が高い。したがって固体光源の材料にInGaN系を用いることで電力効率を向上させることができる。   Examples of solid light source materials include GaAsP, GaP, AlGaAs, AlGaInP, and InGaN. The light emission color of the GaAsP-based material is vermilion-red (peak wavelength is 570 to 800 nm), and the light emission efficiency is 0.2 to 1.0 lm / W. The emission color of the GaP-based material is green (peak wavelength is 480-570 nm), and the emission efficiency is 2.0 to 3.0 lm / W. The emission color of the AlGaAs-based material is red (peak wavelength is 620-670 nm), and the light emission efficiency is 6-12 lm / W. The emission color of the AlGaInP-based material is vermilion-green (peak wavelength is 560-650 nm), and the light emission efficiency is 15-40 lm / W. The emission color of the InGaN-based material is blue-green (peak wavelength is 400-470 nm), and the light emission efficiency is 10-50 lm / W. When the optical output is converted into watts (W), the InGaN system has the highest power efficiency. Therefore, power efficiency can be improved by using an InGaN-based material for the solid-state light source.

映像プロジェクターに使用される照明系は、ホワイトバランスを保つために、R,G,Bの明るさのバランスが必要ではある。しかしながら第1実施形態の投射装置100のように被検物の計測に使用される場合は、特にフルカラーである必要はなく、むしろ、光利用効率の高い単色光を利用することが効率的である。また青色単色光は、視感度が低く、人間の目には他の色よりも眩しくないにも関わらず、撮像素子は青色単色光により照射された被検物を高精度に撮像することができる。   An illumination system used for a video projector needs to balance the brightness of R, G, and B in order to maintain white balance. However, when used for measurement of an object as in the projection apparatus 100 of the first embodiment, it is not particularly necessary to use full color, but rather it is efficient to use monochromatic light with high light utilization efficiency. . In addition, the blue monochromatic light has low visibility and is less dazzling than other colors by the human eye, but the imaging device can image the test object irradiated with the blue monochromatic light with high accuracy. .

図1に戻り、光源1は、比視感度の最も高い波長よりも長い波長を含まない光を発光する固体光源である。光源1は、例えばピーク波長が400nmから470nmに含まれる光を発光する。より具体的には、光源1はInGaN系の固体光源を用いた青色単色光(例えば450nm付近の波長の光)を発光する。これにより投射装置100の電力効率をより向上させることができる。   Returning to FIG. 1, the light source 1 is a solid-state light source that emits light that does not include a wavelength longer than the wavelength with the highest specific visibility. The light source 1 emits light having a peak wavelength in the range of 400 nm to 470 nm, for example. More specifically, the light source 1 emits blue monochromatic light (for example, light having a wavelength near 450 nm) using an InGaN-based solid light source. Thereby, the power efficiency of the projection apparatus 100 can be further improved.

集光素子(集光レンズ)2及び集光素子(集光レンズ)3は集光光学系である。集光素子2は、光源1からほぼ拡散光となって発せられた光を、複数のレンズの組み合わせにより集光することによって発散角を狭め、ある一定の光束の光を集光素子2に入力する。集光素子3は、形成部4の照明に必要な領域に光を投射する。   A condensing element (condensing lens) 2 and a condensing element (condensing lens) 3 are condensing optical systems. The condensing element 2 narrows the divergence angle by condensing the light emitted from the light source 1 as almost diffused light by a combination of a plurality of lenses, and inputs light of a certain luminous flux to the condensing element 2. To do. The condensing element 3 projects light onto an area necessary for illumination of the forming unit 4.

形成部4は光源1と共役な位置に配置される。これにより光源1は形成部4の照明を最も効率的に行うことができる。形成部4はパターン光を形成する。具体的には、形成部4は、図1では図示されていない光を反射する反射部と、光を透過する透過部と、を含むパターンを有する。パターンは、例えばエッチング処理により形成される。透過部は所定の透過率を有する。また反射部は、所定の反射率を有する。なお形成部4に液晶パネル又はデジタルミラーデバイスを用いてもよい。しかしながらパターンを変更する必要がない場合は、液晶パネルの透過率低下、及び、デジタルミラーデバイスの反射率低下等を考慮する必要がない固定のパターンが最適である。また固定のパターンであれば、駆動制御も不要となるので、簡易な構成となり、投射装置100を小型化できる。   The forming unit 4 is disposed at a position conjugate with the light source 1. Thereby, the light source 1 can perform illumination of the formation part 4 most efficiently. The forming unit 4 forms pattern light. Specifically, the formation unit 4 has a pattern including a reflection unit that reflects light that is not shown in FIG. 1 and a transmission unit that transmits light. The pattern is formed by, for example, an etching process. The transmission part has a predetermined transmittance. Further, the reflecting portion has a predetermined reflectance. A liquid crystal panel or a digital mirror device may be used for the forming portion 4. However, when it is not necessary to change the pattern, a fixed pattern that does not need to take into consideration a decrease in the transmittance of the liquid crystal panel, a decrease in the reflectance of the digital mirror device, and the like is optimal. Further, if the pattern is fixed, drive control is not necessary, so that the configuration is simple and the projection apparatus 100 can be downsized.

投射光学系5はパターン光を所定の拡大率により拡大し、被検物が配置される投射面6に投射する。   The projection optical system 5 magnifies the pattern light at a predetermined magnification and projects it onto the projection surface 6 on which the test object is arranged.

なお上述の構成において、集光素子2と集光素子3との間にライトトンネルを更に設けてもよい。ライトトンネルは4つの反射面を柱状に形成することにより構成される。ライトトンネルの入り口に集光された光が、ライトトンネル内で何度か反射することにより、見かけ上の複数の光源が生じ、複数の光源による光の重ね合わせの効果を得ることができる。ライトトンネルの出口と、照明される形成部4とを共役な位置関係にすることにより、均一な明るさで形成部4を照明することができる。   In the above-described configuration, a light tunnel may be further provided between the light collecting element 2 and the light collecting element 3. The light tunnel is configured by forming four reflecting surfaces in a columnar shape. The light condensed at the entrance of the light tunnel is reflected several times in the light tunnel, so that a plurality of apparent light sources are generated, and the effect of superimposing the light by the plurality of light sources can be obtained. By forming the exit position of the light tunnel and the illuminated formation portion 4 in a conjugate positional relationship, the formation portion 4 can be illuminated with uniform brightness.

以上説明したように、第1実施形態の投射装置100によれば、光源1が比視感度の最も高い波長よりも長い波長を含まない光を投射する。これにより投射装置100の電力効率をより向上させることができる。   As described above, according to the projection device 100 of the first embodiment, the light source 1 projects light that does not include a wavelength longer than the wavelength having the highest relative visibility. Thereby, the power efficiency of the projection apparatus 100 can be further improved.

(第2実施形態)
次に第2実施形態について説明する。
(Second Embodiment)
Next, a second embodiment will be described.

図3は第2実施形態の視差取得装置200の構成の例を示す図である。第2実施形態の視差取得装置200は、投射装置300及びステレオカメラ400を備える。   FIG. 3 is a diagram illustrating an example of the configuration of the parallax acquisition device 200 according to the second embodiment. The parallax acquisition device 200 according to the second embodiment includes a projection device 300 and a stereo camera 400.

まず投射装置300の構成の例について説明する。   First, an example of the configuration of the projection apparatus 300 will be described.

図4は第2実施形態の投射装置300の構成の例を示す図である。第2実施形態の投射装置300は、半導体レーザLD1〜LD8(LD5〜LD8は図示せず)、集光レンズCL1〜CL8(CL5〜CL8は図示せず)、ミラーM1〜M4、集光レンズ11、反射拡散版12、テーパーライトトンネル13、形成部16、三角プリズム17及び投射光学系18を備える。   FIG. 4 is a diagram illustrating an example of the configuration of the projection apparatus 300 according to the second embodiment. The projection apparatus 300 according to the second embodiment includes semiconductor lasers LD1 to LD8 (LD5 to LD8 are not shown), condenser lenses CL1 to CL8 (CL5 to CL8 are not shown), mirrors M1 to M4, and condenser lens 11. , A reflection diffusion plate 12, a tapered light tunnel 13, a forming unit 16, a triangular prism 17, and a projection optical system 18.

以下、半導体レーザLD1〜LD8を区別しない場合、単に半導体レーザLDという。同様に、集光レンズCL1〜CL8を区別しない場合、単に集光レンズCLという。同様に、ミラーM1〜M4を区別しない場合、単にミラーMという。   Hereinafter, when the semiconductor lasers LD1 to LD8 are not distinguished, they are simply referred to as a semiconductor laser LD. Similarly, when the condenser lenses CL1 to CL8 are not distinguished, they are simply referred to as the condenser lens CL. Similarly, when the mirrors M1 to M4 are not distinguished, they are simply referred to as mirrors M.

半導体レーザLD1〜LD8は、縦2列、横4列で配列されている。上段は半導体レーザLD1、半導体レーザLD2、半導体レーザLD3、半導体レーザLD4の順に配列され、下段は半導体レーザLD5、半導体レーザLD6、半導体レーザLD7、半導体レーザLD8の順に配列されている。各々の半導体レーザLDは、InGaN系の材料により作成され、一定の発散角で青色単色光を発光する。   The semiconductor lasers LD1 to LD8 are arranged in two vertical rows and four horizontal rows. The upper stage is arranged in the order of semiconductor laser LD1, semiconductor laser LD2, semiconductor laser LD3, and semiconductor laser LD4, and the lower stage is arranged in order of semiconductor laser LD5, semiconductor laser LD6, semiconductor laser LD7, and semiconductor laser LD8. Each semiconductor laser LD is made of an InGaN-based material and emits blue monochromatic light at a constant divergence angle.

同様に、集光レンズCL1〜CL8は、縦2列、横4列で配列されている。上段は集光レンズCL1、集光レンズCL2、集光レンズCL3、集光レンズCL4の順に配列され、下段は集光レンズCL5、集光レンズCL6、集光レンズCL7、集光レンズCL8の順に配列されている。各々の集光レンズCLは、投射されたレーザ光を集光し、レーザ光をほぼ平行の光束として、各々のミラーMに投射する。   Similarly, the condenser lenses CL1 to CL8 are arranged in two vertical rows and four horizontal rows. The upper row is arranged in the order of the condenser lens CL1, the condenser lens CL2, the condenser lens CL3, and the condenser lens CL4, and the lower row is arranged in the order of the condenser lens CL5, the condenser lens CL6, the condenser lens CL7, and the condenser lens CL8. Has been. Each condenser lens CL condenses the projected laser light and projects the laser light onto each mirror M as a substantially parallel light beam.

各々のミラーMは投射されたレーザ光の光路を90度折り曲げることにより、レーザ光を集光レンズ11に投射する。具体的には、ミラーM1は半導体レーザLD1及びLD5により投射されたレーザ光の光路を90度折り曲げることにより、レーザ光を集光レンズ11に投射する。ミラーM2は半導体レーザLD2及びLD6により投射されたレーザ光の光路を90度折り曲げることにより、レーザ光を集光レンズ11に投射する。ミラーM3は半導体レーザLD3及びLD7により投射されたレーザ光の光路を90度折り曲げることにより、レーザ光を集光レンズ11に投射する。ミラーM4は半導体レーザLD4及びLD8により投射されたレーザ光の光路を90度折り曲げることにより、レーザ光を集光レンズ11に投射する。   Each mirror M projects the laser light onto the condenser lens 11 by bending the optical path of the projected laser light by 90 degrees. Specifically, the mirror M1 projects the laser light onto the condenser lens 11 by bending the optical path of the laser light projected by the semiconductor lasers LD1 and LD5 by 90 degrees. The mirror M2 projects the laser light onto the condenser lens 11 by bending the optical path of the laser light projected by the semiconductor lasers LD2 and LD6 by 90 degrees. The mirror M3 projects the laser light onto the condenser lens 11 by bending the optical path of the laser light projected by the semiconductor lasers LD3 and LD7 by 90 degrees. The mirror M4 projects the laser light onto the condenser lens 11 by bending the optical path of the laser light projected by the semiconductor lasers LD4 and LD8 by 90 degrees.

集光レンズ11は、半導体レーザLD1〜LD8の8つのレーザ光を束ねて、反射拡散板12近傍に集める。ここで反射拡散板12について説明する。   The condensing lens 11 bundles eight laser beams of the semiconductor lasers LD1 to LD8 and collects them in the vicinity of the reflection diffusion plate 12. Here, the reflection diffusion plate 12 will be described.

図5は第2実施形態の反射拡散板12の構成の例を示す図である。反射拡散板12は、拡散面21及び反射面22を備える。拡散面21は所定の拡散度を有する。集光レンズ11から拡散面21に入射したレーザ光は、所定の拡散度で拡散して反射面22に入射する。反射面22は、集光レンズ11から拡散面21を介して入射したレーザ光を反射する。拡散面21は反射面22により反射したレーザ光を再び所定の拡散度で拡散させる。これにより反射拡散板12は集光レンズ11から入射したレーザ光の光路を、ほぼ90度折り曲げ、レーザ光をテーパーライトトンネル13に出射する。このような反射拡散板12を用いることで、1部品で2回、拡散面21を通過させることが可能となり、より拡散効果を高めることができる。   FIG. 5 is a diagram showing an example of the configuration of the reflective diffusion plate 12 of the second embodiment. The reflection diffusion plate 12 includes a diffusion surface 21 and a reflection surface 22. The diffusion surface 21 has a predetermined diffusion degree. The laser light incident on the diffusing surface 21 from the condenser lens 11 is diffused with a predetermined diffusivity and is incident on the reflecting surface 22. The reflection surface 22 reflects the laser light incident from the condenser lens 11 via the diffusion surface 21. The diffusing surface 21 again diffuses the laser light reflected by the reflecting surface 22 with a predetermined diffusivity. As a result, the reflection diffusing plate 12 bends the optical path of the laser light incident from the condenser lens 11 by approximately 90 degrees and emits the laser light to the tapered light tunnel 13. By using such a reflection diffusing plate 12, it becomes possible to pass the diffusing surface 21 twice with one component, and the diffusion effect can be further enhanced.

ここで反射拡散板12を使用する理由について説明する。レーザ光はコヒーレンシーが高く、互いに干渉することでスペックル現象といういわゆるぎらつきが生じる。このぎらつきが時間的な変動によって生じる発光強度変化であると、撮像時間が瞬間である場合、時間が異なることによって読み取りパターンが変り、正しい計測が出来ない問題が生じる。そこで反射拡散板12を配置し、空間的及び時間的に発光分布の変動を均一化することによって、正確な画像の読み取りが可能になる。   Here, the reason for using the reflective diffusion plate 12 will be described. Laser light has high coherency, and so-called glare called speckle phenomenon occurs due to interference with each other. When the glare is a change in light emission intensity caused by temporal fluctuation, when the imaging time is instantaneous, the reading pattern changes depending on the time, and there is a problem that correct measurement cannot be performed. Therefore, by arranging the reflection diffusing plate 12 and uniformizing the fluctuation of the light emission distribution spatially and temporally, it is possible to read an accurate image.

図4に戻り、レーザ光は、反射拡散板12により、ある程度拡散されて広がるが、ほとんどのレーザ光はテーパーライトトンネル13に取り込まれる。テーパーライトトンネル13は4つのミラー(反射面)により構成される。なお図4では、反射面14及び反射面15が図示されているが、残りの2つのミラー(反射面)については省略されている。図4で図示されているように、テーパーライトトンネル13は入口よりも出口の開口が大きい。これは、入射するときのレーザ光の角度を、テーパーライトトンネル13の内部で反射する度に、緩やかにさせるためである。すなわちテーパーライトトンネル13の出口では、入口よりレーザ光の広がり角度が小さくなる。   Returning to FIG. 4, the laser light is diffused and spreads to some extent by the reflection diffusion plate 12, but most of the laser light is taken into the tapered light tunnel 13. The tapered light tunnel 13 is composed of four mirrors (reflection surfaces). In FIG. 4, the reflecting surface 14 and the reflecting surface 15 are shown, but the remaining two mirrors (reflecting surfaces) are omitted. As shown in FIG. 4, the tapered light tunnel 13 has a larger outlet opening than the inlet. This is because the angle of the laser beam when entering is made gentle every time it is reflected inside the tapered light tunnel 13. That is, the spread angle of the laser beam is smaller at the exit of the tapered light tunnel 13 than at the entrance.

テーパーライトトンネル13から出射したレーザ光は形成部16を照射する。なおテーパーライトトンネル13から出射したレーザ光は発散するので、形成部16はテーパーライトトンネル13の出口に近い位置に配置する。形成部16は不規則なパターンを有する。形成部16はテーパーライトトンネル13から出射されたレーザ光が照射されることにより、パターン光を形成する。   The laser light emitted from the tapered light tunnel 13 irradiates the forming portion 16. Since the laser light emitted from the tapered light tunnel 13 diverges, the forming portion 16 is disposed at a position close to the exit of the tapered light tunnel 13. The formation part 16 has an irregular pattern. The formation part 16 forms pattern light by being irradiated with laser light emitted from the tapered light tunnel 13.

三角プリズム17は、パターン光の光路を90度折り曲げ、パターン光を投射光学系18に入射させる。投射光学系18はパターン光を拡大して投射する。   The triangular prism 17 bends the optical path of the pattern light by 90 degrees and causes the pattern light to enter the projection optical system 18. The projection optical system 18 magnifies and projects the pattern light.

図3に戻り、投射装置300は、上述の図4及び図5の構成によってパターン光30を所定の投射領域に投射する。ステレオカメラ400はパターン光30が投射された被検物を撮像し、視差情報(及び距離情報)を取得する。   Returning to FIG. 3, the projection apparatus 300 projects the pattern light 30 onto a predetermined projection area with the configuration of FIGS. 4 and 5 described above. The stereo camera 400 images the test object on which the pattern light 30 is projected, and acquires parallax information (and distance information).

ここでステレオカメラ400の構成の例について説明する。   Here, an example of the configuration of the stereo camera 400 will be described.

図6は第2実施形態のステレオカメラ400の構成の例を示す図である。第2実施形態のステレオカメラ400は、第1カメラ31、第2カメラ32、記憶部33、外部I/F34、補正部35、及び算出部36を備える。   FIG. 6 is a diagram illustrating an example of the configuration of the stereo camera 400 according to the second embodiment. A stereo camera 400 according to the second embodiment includes a first camera 31, a second camera 32, a storage unit 33, an external I / F 34, a correction unit 35, and a calculation unit 36.

第1カメラ31は被検物を撮像して基準画像を取得する。第2カメラ32は被検物を撮像して比較画像を取得する。第1カメラ31及び第2カメラ32は光軸が平行になるように並列に配置されている。第1カメラ31及び第2カメラ32の撮像タイミングは同期されており、同じ被検物を同時に撮影する。   The first camera 31 captures a test object and acquires a reference image. The second camera 32 captures a test object and acquires a comparative image. The first camera 31 and the second camera 32 are arranged in parallel so that their optical axes are parallel. The imaging timings of the first camera 31 and the second camera 32 are synchronized, and the same test object is imaged simultaneously.

記憶部33は基準画像、比較画像及び画像補正パラメータ等を記憶する。画像補正パラメータは、後述の補正部35が基準画像及び比較画像の歪み等を補正するときに使用するパラメータである。   The storage unit 33 stores a reference image, a comparison image, an image correction parameter, and the like. The image correction parameter is a parameter used when the correction unit 35 described later corrects the distortion and the like of the reference image and the comparison image.

外部I/F34は、記憶部33のデータの入出力を行うためのインターフェースである。   The external I / F 34 is an interface for inputting / outputting data in the storage unit 33.

補正部35は、記憶部33から基準画像、比較画像及び画像補正パラメータを読み出す。補正部35は画像補正パラメータに応じた画像補正式により基準画像及び比較画像を補正する。画像補正式は基準画像(比較画像)の座標を変換することにより基準画像(比較画像)を補正する式である。例えば基準画像(比較画像)の座標をアフィン変換により補正する場合には、当該画像補正式は行列により表現できるので、画像補正パラメータは行列の成分である。また基準画像(比較画像)の座標を非線形な変換により補正する場合には、画像補正パラメータは、例えば当該変換を表す多項式等の係数である。なお補正部35は、基準画像及び比較画像のいずれか一方を補正するようにしてもよい。すなわち画像補正式は、いずれか一方の画像を基準にして、もう一方の画像を補正するための画像補正式でもよい。補正部35は、補正後の基準画像及び補正後の比較画像を算出部36に入力する。   The correction unit 35 reads the reference image, the comparison image, and the image correction parameter from the storage unit 33. The correction unit 35 corrects the reference image and the comparison image using an image correction formula corresponding to the image correction parameter. The image correction formula is a formula for correcting the reference image (comparison image) by converting the coordinates of the reference image (comparison image). For example, when the coordinates of the reference image (comparison image) are corrected by affine transformation, the image correction equation can be expressed by a matrix, so the image correction parameter is a matrix component. When correcting the coordinates of the reference image (comparison image) by non-linear conversion, the image correction parameter is, for example, a coefficient such as a polynomial representing the conversion. The correction unit 35 may correct either one of the reference image and the comparison image. That is, the image correction formula may be an image correction formula for correcting the other image on the basis of one of the images. The correction unit 35 inputs the corrected reference image and the corrected comparison image to the calculation unit 36.

算出部36は基準画像と比較画像とから被検物の像の視差情報を算出する。具体的には、算出部36は補正後の基準画像の点に対応する補正後の比較画像の対応点を検索し、いわゆるステレオ測距を用いて被検物の視差情報を取得する。そして算出部36は視差情報に基づいて被検物までの距離情報を取得する。   The calculation unit 36 calculates parallax information of the image of the test object from the reference image and the comparison image. Specifically, the calculation unit 36 searches for corresponding points in the corrected comparative image corresponding to the points in the corrected reference image, and acquires parallax information of the test object using so-called stereo distance measurement. And the calculation part 36 acquires the distance information to a test object based on parallax information.

以上説明したように、投射装置300が、投射領域に配置された披検物にパターン光を照射する。そしてステレオカメラ400が当該被検物を撮像して基準画像及び比較画像を取得することにより、基準画像及び比較画像間の対応点が明確になり、いわゆるステレオ測距を用いて被検物表面の立体形状を示す距離情報を取得することができる。このときパターン光が、青の波長帯域であるため、心理物理量であるルーメン(lm)が低くても、準物理量であるワット量(W)は高い。そのためステレオカメラ400による被検物の撮像に十分な光エネルギーを与えることができるとともに、視差取得装置200(投射装置300)の電力効率をより向上させることができる。   As described above, the projection apparatus 300 irradiates the specimen placed in the projection area with pattern light. Then, the stereo camera 400 captures the test object and acquires the reference image and the comparison image, whereby the corresponding points between the reference image and the comparison image are clarified, and so-called stereo ranging is used to detect the surface of the test object. Distance information indicating a three-dimensional shape can be acquired. At this time, since the pattern light is in the blue wavelength band, the wattage (W) as the quasi-physical quantity is high even if the lumen (lm) as the psychophysical quantity is low. Therefore, it is possible to provide sufficient light energy for imaging the test object by the stereo camera 400 and to further improve the power efficiency of the parallax acquisition device 200 (projection device 300).

なお半導体レーザLDは、発光ダイオード(LED)等の他の固体光源であってもよいが、半導体レーザLDが最も好適である。この理由は、半導体レーザLDは発光部が数um、数十um又は数mmであり、集光光学系に対して十分小さい。したがって半導体レーザLDは集光レンズに対して平行に配置し易い。すなわち1つの半導体レーザLDの出力が小さくても、複数の半導体レーザLDを離散的に設けることができる。そのため互いの熱干渉の影響も緩和させることができ、発光効率を低下させずに、より高い光出力を得ることができる。また半導体レーザLDは小型なため、複数の半導体レーザを離散的に配置しても、投射装置300を大型化させることがない。   The semiconductor laser LD may be another solid-state light source such as a light emitting diode (LED), but the semiconductor laser LD is most preferable. This is because the semiconductor laser LD has a light emitting portion of several um, several tens of um, or several mm, which is sufficiently small with respect to the condensing optical system. Therefore, the semiconductor laser LD is easily arranged in parallel to the condenser lens. That is, even if the output of one semiconductor laser LD is small, a plurality of semiconductor lasers LD can be provided discretely. Therefore, the influence of mutual heat interference can be reduced, and higher light output can be obtained without lowering the light emission efficiency. Further, since the semiconductor laser LD is small, the projection apparatus 300 is not enlarged even if a plurality of semiconductor lasers are discretely arranged.

1 光源
2 集光素子
3 集光素子
4 形成部
5 投射光学系
6 投射面
11 集光レンズ
12 反射拡散板
13 テーパーライトトンネル
14 反射面
15 反射面
16 形成部
17 三角プリズム
18 投射光学系
21 拡散面
22 反射面
30 パターン光
31 第1カメラ
32 第2カメラ
33 記憶部
34 外部I/F
35 補正部
36 算出部
100 投射装置
200 視差取得装置
300 投射装置
400 ステレオカメラ
CL1〜CL8 集光レンズ
LD1〜LD8 半導体レーザ
M1〜M4 ミラー
DESCRIPTION OF SYMBOLS 1 Light source 2 Condensing element 3 Condensing element 4 Formation part 5 Projection optical system 6 Projection surface 11 Condensing lens 12 Reflection diffuser plate 13 Tapered light tunnel 14 Reflection surface 15 Reflection surface 16 Formation part 17 Triangular prism 18 Projection optical system 21 Diffusion Surface 22 Reflecting surface 30 Pattern light 31 First camera 32 Second camera 33 Storage unit 34 External I / F
35 Correction Unit 36 Calculation Unit 100 Projection Device 200 Parallax Acquisition Device 300 Projection Device 400 Stereo Camera CL1 to CL8 Condensing Lens LD1 to LD8 Semiconductor Laser M1 to M4 Mirror

特開2001−147110号公報JP 2001-147110 A 特開2007−017355号公報Japanese Patent Laid-Open No. 2007-017355

Claims (6)

撮像される被検物にパターン光を投射する投射装置であって、
比視感度の最も高い波長よりも長い波長を含まない光を発光する光源と、
前記光を集光する集光光学系と、
前記集光光学系によって照明されることによりパターン光を形成する形成部と、
前記パターン光を投射する投射光学系と、
を備える投射装置。
A projection device that projects pattern light onto an object to be imaged,
A light source that emits light that does not include a wavelength longer than the wavelength with the highest specific visibility;
A condensing optical system for condensing the light;
A forming unit that forms pattern light by being illuminated by the condensing optical system;
A projection optical system for projecting the pattern light;
A projection apparatus comprising:
前記光源は、ピーク波長が400nmから470nmに含まれる光を発光する、
請求項1に記載の投射装置。
The light source emits light having a peak wavelength of 400 nm to 470 nm;
The projection device according to claim 1.
前記光源は、InGaN系の材料が用いられている固体光源である、
請求項1又は2に記載の投射装置。
The light source is a solid light source in which an InGaN-based material is used.
The projection apparatus according to claim 1 or 2.
前記光源は、少なくとも1つの発光ダイオード、又は、少なくとも1つの半導体レーザである、
請求項1乃至3のいずれか1項に記載の投射装置。
The light source is at least one light emitting diode or at least one semiconductor laser;
The projection device according to any one of claims 1 to 3.
前記集光光学系により集光された光を、前記形成部に入射させる反射拡散版を更に備え、
前記反射拡散版は、
前記集光光学系により集光された光が入射する拡散面と、
前記拡散面から入射した光を反射させて再び前記拡散面に入射させる反射面と、
を備える請求項1乃至4のいずれか1項に記載の投射装置。
Further comprising a reflection diffusion plate for allowing the light condensed by the condensing optical system to enter the forming portion;
The reflection diffusion plate is
A diffusion surface on which light collected by the condensing optical system is incident;
A reflecting surface that reflects the light incident from the diffusing surface and enters the diffusing surface again;
A projection apparatus according to claim 1, comprising:
撮像される被検物にパターン光を投射する投射装置と、ステレオカメラとを備える視差取得装置であって、
前記投射装置は、
比視感度の最も高い波長よりも長い波長を含まない光を発光する光源と、
前記光を集光する集光光学系と、
前記集光光学系によって照明されることによりパターン光を形成する形成部と、
前記パターン光を投射する投射光学系と、を備え、
前記ステレオカメラは、
前記被検物を撮像して基準画像を取得する第1カメラと、
前記被検物を撮像して比較画像を取得する第2カメラと、
前記基準画像と前記比較画像とから前記被検物の像の視差情報を算出する算出部と、
を備える視差取得装置。
A parallax acquisition device comprising a projection device for projecting pattern light onto an object to be imaged, and a stereo camera,
The projection device
A light source that emits light that does not include a wavelength longer than the wavelength with the highest specific visibility;
A condensing optical system for condensing the light;
A forming unit that forms pattern light by being illuminated by the condensing optical system;
A projection optical system for projecting the pattern light,
The stereo camera
A first camera that captures the test object and obtains a reference image;
A second camera that images the test object and obtains a comparison image;
A calculation unit that calculates parallax information of the image of the test object from the reference image and the comparison image;
A parallax acquisition device comprising:
JP2014212746A 2014-10-17 2014-10-17 Projection device and parallax acquisition device Pending JP2016080534A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014212746A JP2016080534A (en) 2014-10-17 2014-10-17 Projection device and parallax acquisition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014212746A JP2016080534A (en) 2014-10-17 2014-10-17 Projection device and parallax acquisition device

Publications (1)

Publication Number Publication Date
JP2016080534A true JP2016080534A (en) 2016-05-16

Family

ID=55958356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014212746A Pending JP2016080534A (en) 2014-10-17 2014-10-17 Projection device and parallax acquisition device

Country Status (1)

Country Link
JP (1) JP2016080534A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018004514A (en) * 2016-07-05 2018-01-11 株式会社トプコン Light wave distance meter
CN110352346A (en) * 2017-03-15 2019-10-18 通用电气公司 Method and apparatus for checking assets

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54142091A (en) * 1978-04-27 1979-11-05 Citizen Watch Co Ltd Reflective liquid crystal display unit
JPS55138603U (en) * 1979-03-26 1980-10-02
JPH02130908A (en) * 1988-11-11 1990-05-18 Canon Inc observation device
JP2001121751A (en) * 1999-10-29 2001-05-08 Noritsu Koki Co Ltd Print head, printing apparatus using the same, and printing method
JP2001141428A (en) * 1999-11-17 2001-05-25 Sony Corp Inspecting device and method
JP2005140584A (en) * 2003-11-05 2005-06-02 Ckd Corp 3D measuring device
JP2006171725A (en) * 1994-06-28 2006-06-29 3M Innovative Properties Co Apparatus for uniformly illuminating light valve
JP2006234647A (en) * 2005-02-25 2006-09-07 Nikon Corp POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, EXPOSURE METHOD, AND EXPOSURE DEVICE
JP2009003444A (en) * 2007-05-22 2009-01-08 Nitto Kogaku Kk Light source device of liquid crystal projector
JP2009074851A (en) * 2007-09-19 2009-04-09 Nuflare Technology Inc Inspection apparatus and inspection method
JP2010271312A (en) * 2009-05-21 2010-12-02 General Electric Co <Ge> Inspection system and method with multi-image phase shift analysis
JP2013124985A (en) * 2011-12-15 2013-06-24 Ricoh Co Ltd Compound-eye imaging apparatus and distance measuring device
WO2014102907A1 (en) * 2012-12-25 2014-07-03 Necディスプレイソリューションズ株式会社 Light source apparatus, projector, and method for lighting image modulation element

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54142091A (en) * 1978-04-27 1979-11-05 Citizen Watch Co Ltd Reflective liquid crystal display unit
JPS55138603U (en) * 1979-03-26 1980-10-02
JPH02130908A (en) * 1988-11-11 1990-05-18 Canon Inc observation device
JP2006171725A (en) * 1994-06-28 2006-06-29 3M Innovative Properties Co Apparatus for uniformly illuminating light valve
JP2001121751A (en) * 1999-10-29 2001-05-08 Noritsu Koki Co Ltd Print head, printing apparatus using the same, and printing method
JP2001141428A (en) * 1999-11-17 2001-05-25 Sony Corp Inspecting device and method
JP2005140584A (en) * 2003-11-05 2005-06-02 Ckd Corp 3D measuring device
JP2006234647A (en) * 2005-02-25 2006-09-07 Nikon Corp POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, EXPOSURE METHOD, AND EXPOSURE DEVICE
JP2009003444A (en) * 2007-05-22 2009-01-08 Nitto Kogaku Kk Light source device of liquid crystal projector
JP2009074851A (en) * 2007-09-19 2009-04-09 Nuflare Technology Inc Inspection apparatus and inspection method
JP2010271312A (en) * 2009-05-21 2010-12-02 General Electric Co <Ge> Inspection system and method with multi-image phase shift analysis
JP2013124985A (en) * 2011-12-15 2013-06-24 Ricoh Co Ltd Compound-eye imaging apparatus and distance measuring device
WO2014102907A1 (en) * 2012-12-25 2014-07-03 Necディスプレイソリューションズ株式会社 Light source apparatus, projector, and method for lighting image modulation element

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018004514A (en) * 2016-07-05 2018-01-11 株式会社トプコン Light wave distance meter
CN110352346A (en) * 2017-03-15 2019-10-18 通用电气公司 Method and apparatus for checking assets
JP2020508465A (en) * 2017-03-15 2020-03-19 ゼネラル・エレクトリック・カンパニイ Method and device for inspection of assets
JP7009491B2 (en) 2017-03-15 2022-01-25 ゼネラル・エレクトリック・カンパニイ Methods and devices for asset inspection
CN110352346B (en) * 2017-03-15 2022-04-26 通用电气公司 Method and apparatus for inspecting assets

Similar Documents

Publication Publication Date Title
US12279929B2 (en) Intraoral 3D scanning system using structured light projection
US9606237B2 (en) Spatially coded structured light generator
US9503708B2 (en) Systems and methods for reducing z-thickness and zero-order effects in depth cameras
US9798126B2 (en) Modular illuminator for extremely wide field of view
JP6484072B2 (en) Object detection device
US9797708B2 (en) Apparatus and method for profiling a depth of a surface of a target object
US10679370B2 (en) Energy optimized imaging system with 360 degree field-of-view
JP2023532676A (en) Projector for diffuse illumination and structured light
JPWO2017183181A1 (en) 3D shape measuring device
US20190364251A1 (en) Projection system and projection method
JP2013190394A (en) Pattern illumination apparatus and distance measuring apparatus
KR102248248B1 (en) Projection Optical System for Obtaining 3 Dimensional data using Structured Light Pattern
CN104136958B (en) The lighting device for IR camera system of the array including vertical cavity surface emitting laser
JP2018204976A (en) Distance measuring device, distance measuring method and imaging device
WO2023083337A1 (en) Structured light projection module and three-dimensional scanning device
JP2016080534A (en) Projection device and parallax acquisition device
US10627709B2 (en) Light source, projection device, measurement device, robot, electronic device, mobile object, and shaping apparatus
TW202045987A (en) Optical measurement device and optical measurement method
JP2020092256A (en) Light source, light source device, optical device, measuring device, robot, electronic device, moving body, and modeling device
US20160033263A1 (en) Measurement device for the three-dimensional optical measurement of objects with a topometric sensor and use of a multi-laser-chip device
JP2021018081A (en) Imaging apparatus, measuring device, and measuring method
CN215642075U (en) Projection module and electronic equipment comprising same
TW201502468A (en) Shape measuring device
JPWO2021181508A5 (en) Endoscope system, endoscope and distance calculation method
US20240344824A1 (en) Single pattern shift projection optical system for 3d scanner

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160815

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160815

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170509