[go: up one dir, main page]

JP2004126768A - Color image preparing device for image measuring instrument, and color image composition method - Google Patents

Color image preparing device for image measuring instrument, and color image composition method Download PDF

Info

Publication number
JP2004126768A
JP2004126768A JP2002287257A JP2002287257A JP2004126768A JP 2004126768 A JP2004126768 A JP 2004126768A JP 2002287257 A JP2002287257 A JP 2002287257A JP 2002287257 A JP2002287257 A JP 2002287257A JP 2004126768 A JP2004126768 A JP 2004126768A
Authority
JP
Japan
Prior art keywords
image
signal data
color
electric signal
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002287257A
Other languages
Japanese (ja)
Other versions
JP4248216B2 (en
Inventor
Shinichi Ueno
上野 信一
Yasuo Sugita
杉田 康雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Priority to JP2002287257A priority Critical patent/JP4248216B2/en
Publication of JP2004126768A publication Critical patent/JP2004126768A/en
Application granted granted Critical
Publication of JP4248216B2 publication Critical patent/JP4248216B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G01B11/007Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines feeler heads therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a color image preparing device of an image measuring instrument and a color image composition method which can obtain a color image good in a color balance and constant in the color of a composite color by using a black and white CCD. <P>SOLUTION: The color image preparing device 51 is provided with an illuminating optical system capable of selectively outputting red, green, and blue illuminating lights, a black and white CCD camera 11, an image electric signal data storing means 53 for storing red image electric signal data, green image electric signal data, and blue image electric signal data, a color balance rate storing means 54 for storing a color balance rate at the time of compounding the respective image electric signal data to obtain a color image and an image electric signal data compounding means 55 for compounding the respective image electric signal data. Thus, it is possible to compound the color images without being affected by the difference of the brightness of respective color illuminating lights, and to project an image photographed by the black and white CCD camera as a much more real image to make the image easy to observe. As a result, it is possible to clearly grasp the shape of an object to be measured. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、光学系によって得られた被測定物の画像から被測定物の寸法や形状を測定する画像測定機のカラー画像作成装置およびカラー画像合成方法に関する。詳しくは、白黒電荷結合素子(白黒CCD)で撮影した撮影画像をカラー画像に合成する画像測定機のカラー画像作成装置およびカラー画像合成方法に関する。
【0002】
【背景技術】
光学系によって被測定物の測定部位を光学的に結像し、その像を観察するための光学顕微鏡や、像から被測定物の形状や寸法等を検査、測定するための画像処理型測定機、例えば、測定顕微鏡、工具顕微鏡、投影機、三次元画像測定機等が知られている。これらの三次元画像測定機等では、被測定物の画像を鮮明に得ることが必須条件であり、この条件を満たすために、被測定物の撮影に白黒CCD(白黒電荷結合素子)を用いることが行われる。
撮影に白黒CCDを使用した場合、高い分解能(解像度)で画像が得られるため、被測定物上の点、線、円等の位置検出を高い精度で測定することができ、しかも低価格ですむ。これに対して、カラーCCDを使用した場合、被測定物の光反射率の表面物性と色彩の両方の情報を含んでいるため、画像信号の明るさの違いや色の違いを利用して、光反射率や色の異なる領域の境界線を観察したり、特定の色の領域を観察したりすることができる。従って、よりリアルな画像を映すことで、被測定物の状態を明確に把握することができる。
従来、被測定物の画像を得るため、白黒CCDを用いて、カラー画像で観察するという技術思想の下に開発されたものの一つとして、例えば、スキャナ装置が知られている(特許文献1参照)。
【0003】
【特許文献1】
特開2002−77534号公報(第2、3頁、図7)
【0004】
【発明が解決しようとする課題】
前記特許文献1のスキャナ装置では、フラットベッド上に置かれた原稿に対して、赤、緑および青色の像を生成するためのカラーLEDアレイから光が照射され、これらの光は、フラットベッドで反射された後、レンズモジュールで結像され、これらの赤、緑および青色の像は、白黒CCDで赤、緑および青色の像の信号として変換される構成となっている。
前記スキャナ装置では、フラットベッド上に置かれた原稿に対して、常に同一条件で、つまり、それぞれ、赤、緑および青色が持つ色合いで照明光を照射している。そのため、照明のばらつきや、カラーLEDアレイの経時変化により、赤、緑および青色の比率が変化したときや、原稿に応じて照明光の明るさを変えたとき等に対応できず、その結果、色バランスが崩れやすく、合成色の色が一定にならないという問題がある。
【0005】
本発明の目的は、白黒CCDを使用して色バランスがよく合成色の色が一定のカラー画像を得ることができる画像測定機のカラー画像作成装置およびカラー画像合成方法を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像測定機のカラー画像作成装置は、次の構成を採用する。
本発明の請求項1に記載の画像測定機のカラー画像作成装置は、赤色、緑色、青色の照明光を選択的に出力可能な照明光学系を有し、この照明光学系からの照明光を被測定物に照射して得られる被測定物の画像から被測定物の寸法や形状を測定する画像測定機のカラー画像作成装置において、前記被測定物の画像を電気信号に変換する白黒電荷結合素子と、前記被測定物に赤色の照明光を照射したときに前記白黒電荷結合素子で得られる赤色画像電気信号データ、前記被測定物に緑色の照明光を照射したときに前記白黒電荷結合素子で得られる緑色画像電気信号データ、および、前記被測定物に青色の照明光を照射したときに前記白黒電荷結合素子で得られる青色画像電気信号データをそれぞれ記憶する画像電気信号データ記憶手段と、前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを合成してカラー画像とする際のカラーバランス比率を予め設定記憶したカラーバランス比率記憶手段と、前記カラーバランス比率記憶手段に記憶されたカラーバランス比率に基づいて、前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを合成する画像電気信号データ合成手段と、を備えたことを特徴とするものである。
【0007】
この本発明によれば、白黒電荷結合素子で撮影された被測定物の画像をカラー画像にする際に、赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを基に、予め設定され各色ごとの標準の照度となったカラーバランス比率に基づいて合成されるので、各色照明光の明るさの違い(差異)等に影響されずに合成することができる。従って、白黒電荷結合素子で撮影した画像を色バランスがよく合成色の色が一定となったよりリアルな画像で映すことができるようになって観察がしやすくなり、その結果、被測定物の形状等を明確に把握することができる。
また、例えばカラーCCDカメラでは、CCD上に設置されたカラーフィルター、または3CCDカメラにおけるプリズムブロック等により、赤色、緑色、および青色に分光されるため、その分、画面が暗くなるが、本発明では、カラーフィルターやプリズムブロックを使用しないので、明るい画像を得ることができる。
【0008】
請求項2に記載の画像測定機のカラー画像作成装置は、請求項1に記載のカラー画像作成装置において、前記カラーバランス比率記憶手段のカラーバランスの比率は、白色の対象物上で、前記赤色、緑色、青色をそれぞれ照射して得られる赤色データ、緑色データ、および、青色データのグレースケールの平均がほぼ同じとなるように演算して求められるものであることを特徴とするものである。
この構成によれば、それぞれの色についてグレースケールの平均がほぼ同じとなるようにカラーバランスの比率が求められ、常に各色の濃さを一定にすることができるので、被測定物へ照明光を照射する際の各色照明の明るさの違い(差異)、被測定物に応じて照明光の明るさを変えたとき等にも柔軟に対応でき、その結果、赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを合成する際に、常に合成色の色を一定にすることができる。
【0009】
請求項3に記載の画像測定機のカラー画像作成装置は、請求項1または請求項2に記載のカラー画像作成装置において、前記赤色、緑色、青色の照明光は、前記赤色、緑色、青色のそれぞれの発光色を有する3種類の発光ダイオードで構成されていることを特徴とするものである。
この構成によれば、代表的な発光素子である発光ダイオードを使用することによって、その特長である高速応答性や長寿命性を備えた光源とすることができる。
【0010】
請求項4に記載の画像測定機のカラー画像合成方法は、赤色、緑色、青色の照明光を選択的に出力可能な照明光学系を有し、この照明光学系からの照明光を被測定物に照射して得られる被測定物の画像から被測定物の寸法や形状を測定する画像測定機のカラー画像作成方法において、前記被測定物の画像を白黒電荷結合素子により電気信号に変換し、前記被測定物に赤色の照明光を照射したときに前記白黒電荷結合素子で得られる赤色画像電気信号データ、前記被測定物に緑色の照明光を照射したときに前記白黒電荷結合素子で得られる緑色画像電気信号データ、および、前記被測定物に青色の照明光を照射したときに前記白黒電荷結合素子で得られる青色画像電気信号データをそれぞれ画像電気信号データ記憶手段に記憶し、前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを合成する際のカラーバランス比率を予めカラーバランス比率記憶手段に設定記憶し、前記カラーバランス比率記憶手段に記憶されたカラーバランス比率に基づいて、前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを画像電気信号データ合成手段により合成することを特徴とするものである。
【0011】
この構成によれば、白黒電荷結合素子で撮影された被測定物の画像をカラー画像にする際に、赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを基に、予め設定され各色ごとの標準の照度となったカラーバランス比率に基づいて合成されるので、各色照明光の明るさの違い等に影響されずに合成することができる。従って、白黒電荷結合素子で撮影した画像を色バランスがよく合成色の色が一定となったよりリアルな画像で映すことができるようになって観察がしやすくなり、その結果、被測定物の形状等を明確に把握することができる。
また、例えばカラーCCDカメラでは、CCD上に設置されたカラーフィルター、または3CCDカメラにおけるプリズムブロック等により、赤色、緑色、および青色に分光されるため、その分、画面が暗くなるが、本発明では、カラーフィルターやプリズムブロックを使用しないので、明るい画像を得ることができる。
【0012】
【発明の実施の形態】
以下、本発明に係る画像測定機のカラー画像作成装置の好適な実施形態を挙げ、図面に基づいて詳しく説明する。
図1には、画像測定機1が示されており、この画像測定機1は、本発明のカラー画像作成装置51(図5参照)を備えて構成されている。カラー画像作成装置51は、白黒電荷結合素子である白黒CCDカメラ11(図5参照)で撮影した被測定物であるワークWの画像をカラーに合成して、カラーで観察できるようにしたものである。
【0013】
まず、画像測定機1を説明する。画像測定機1は、測定機本体2と、測定機本体2に設けられた照明光学系を有する撮像ユニット10と、測定機本体2等を制御する制御装置50と、測定結果を表示するCRT等の表示部57(図5参照)とを備え、撮像ユニット10で得られたワークWの画像から当該ワークWの寸法や、エッジ部等の形状を測定し、表示することができるようになっている。
【0014】
測定機本体2は基台4を備え、この基台4上には、上面に前記ワークWを載置するテーブル3が設けられている。テーブル3は、図示しないY軸駆動機構によってY軸方向(図1中、紙面直交方向;奥行き方向)に駆動される。また、基台4の両側縁ほぼ中央部には、上方に延びる支持アーム5が設けられ、これらの支持アーム5には、その両上端部にX軸ガイド6が架けわたされている。X軸ガイド6の例えば前面には、前記撮像ユニット10が設けられている。撮像ユニット10は、図示しないX軸駆動機構によって、X軸ガイド6に沿ってX軸方向(Y軸方向と直交方向;左右方向)に駆動される。
【0015】
撮像ユニット10の内部には、図1には図示しないがワークWの画像を電気信号に変換する前記白黒CCDカメラ11(図5参照)が設けられ、この白黒CCDカメラ11の下方には対物レンズ7が設けられている。そして、この対物レンズ7は、前記テーブル3の上面と対向している。また、撮像ユニット10の内部には、照明光学系を構成するリング照明装置15(図2〜4参照)の他、フォーカシング機構(図略)および白黒CCDカメラ11のZ軸方向(X軸、Y軸方向と垂直面内で直交する方向;上下方向)の位置を移動させるZ軸駆動機構(図略)が設けられている。
【0016】
前記リング照明装置15は、図2〜4に示すような構造となっている。
すなわち、リング照明装置15は、画像測定機1の前記テーブル3上のワークWを照らす照明に用いられ、前記対物レンズ7に取り付けられている。リング照明装置15は、対物レンズ7を囲み、当該対物レンズ7の光軸7Aの回りに全体リング状に形成されたケース16と、このケース16の内側で対物レンズ7に近接する側に取り付けられた光源ボックス17とを備えて構成されている。光源ボックス17の内部には、光源としての複数の発光ダイオード20と、ミラー群30とが設けられ、光源ボックス17の回りには、集光するための反射鏡40が配置されている。また、図3中対物レンズ7は、ワークWと所定の測定距離を離して垂直方向の位置を決められており、この際、対物レンズ7に取り付けられたリング照明装置15と、ワークWとの距離(作動距離)に応じた照明角度θ1でワークWに照明光を照射している。
【0017】
ケース16は、金属板材等から加工され、その中央部を図3中上下に貫通するレンズ挿通孔16Aを備えて、図3中下方に開口したリング状に形成されている。ケース16のレンズ挿通孔16Aは、対物レンズ7を余裕を持って挿通できる内径寸法を備えており、ケース16には、対物レンズ7を挿通した状態でリング照明装置15を対物レンズ7に取り付けるための図示しない取付部が設けられている。この取付部としては、例えば、対物レンズ7に向かって進退可能に支持された3本のねじが適用できる。
【0018】
光源ボックス17は、ケース16と同様の金属板材等から加工され、略矩形の角部が面取りされた平面略八角形状の箱状部材であり、対物レンズ7から離れた側の4面には、光軸7Aと略直交する平面に沿ったスリット18が設けられている。
光源ボックス17の内部には、3種類の発光色(赤色;R色、緑色;G色、青色;B色)を有する発光ダイオード20が、それぞれの種類ごとに配列されている。各色の発光ダイオード20は、光軸7Aに沿って、赤色発光ダイオード21、緑色発光ダイオード22および青色発光ダイオード23が、図3中上から順に所定の間隔を隔て、かつ、それぞれが光軸7Aと略直交する平面内に、光軸7Aを中心として平面略矩形状に配列されている。赤、緑、青各色の発光ダイオード21,22,23は、平面略矩形状の各辺に沿って7個ずつ並べられ、それぞれが各辺に略直交し光軸7Aから離れる方向に発光方向を向けて配置されている。
各色の発光ダイオード20は、発光する照明光の発散角が所定の角度(例えば、20°)になるよう発光方向先端に集光レンズが取り付けられたもので、図示しない制御回路および電源に接続されている。
【0019】
各色の発光ダイオード20の発光方向前方には、3種類のミラー31,32,33から構成されるミラー群30が配置されており、それぞれのミラー31,32,33は、略長方形の平板状に形成され、それらの長手方向が赤、緑、青各色の発光ダイオード21,22,23の列と略平行にされ、長手方向の長さが平面略矩形状に配列された発光ダイオード20の各辺の長さと略等しくされている。また、ミラー31,32,33は、光軸7Aに沿った断面方向に関して、光軸7Aと略45°傾斜して設置されている。
【0020】
ミラー31は、反射ミラーであり、赤色発光ダイオード21から出射された出射光を光軸7Aに沿ってワークWの方向へ反射するように設置されている。
ミラー32,33はそれぞれ、ダイクロイックミラーであり、所定の波長より短い波長の光を反射し、当該所定の波長より長い波長の光を透過する特性、または所定の波長より短い波長の光を透過し、当該所定の波長より長い波長の光を反射する特性を有している。すなわち、ミラー32,33は、光の波長に応じた反射から透過、または、透過から反射の特性移行の回数が所定の波長における1回のみのダイクロイックミラーである。
【0021】
ミラー32は、ミラー31で反射された赤色の光を透過し、緑色発光ダイオード22から出射された赤色の光よりも波長の短い緑色の出射光を光軸7Aに沿ってワークWの方向へ反射するように設置されている。
ミラー33は、ミラー32を透過した赤色の光およびミラー32で反射された緑色の光を反射し、青色発光ダイオード23から出射された赤色や緑色の光よりも波長の短い青色の出射光を透過するように設置されている。
【0022】
ミラー33で反射された赤色および緑色の光と、ミラー33を透過した青色の光とが、合成された照明光の進行方向、すなわち、光軸7Aと略直交する平面上で光軸7Aから離れる方向の前方には、反射鏡40が設置されている。この反射鏡40は、光源ボックス17の平面矩形状の各辺とケース16との間に設けられ、ケース16内に設けられた図示しない駆動装置によって、光軸7Aに沿って光源ボックス17との相対位置を移動可能とされている。
【0023】
反射鏡40は、金属製の反射鏡本体41からなり、光軸7Aと対向する側の側面が鏡面仕上げされ、光を反射する反射面42とされている。この反射面42は、照明光をワークWの方向へ反射するように、光軸7Aに沿った断面方向に関して、光軸7Aから離れる方向に凸状の曲率が形成されている。また、光軸7Aと略直交する平面方向に関しても、略矩形状に配列された発光ダイオード20の発光方向と略平行に、光軸7Aから離れる方向に進行する照明光を、光軸7Aの方向へ反射するように、光軸7Aから反射鏡40までの距離の略2倍の半径を有し、光軸7Aから離れる方向に凸状の曲率が形成されている。
【0024】
以上のリング照明装置15は次のように操作される。
まず、ワークWの大きさや形状、測定範囲に応じて設定される測定距離に対物レンズ7を位置調整し、リング照明装置15を対物レンズ7に取り付ける。
ワークWの色合いに応じて、照明光の色合いを調節するには、光源として配列された赤、緑、青各色の発光ダイオード21,22,23のうち、適切な色の発光ダイオード20を選択し、点灯または消灯制御を行う。
すなわち、赤、緑、青各色の発光ダイオード21,22,23を全て点灯すれば、ミラー群30によって合成される照明光は白色となり、いずれか1色のみを点灯すれば、当該1色の照明光となる。また、赤、緑、青各色の発光ダイオード21,22,23のうち、いずれか2色を選択し点灯すれば、当該選択された2色が合成された照明光となる。さらに、選択したいずれかの発光ダイオード21,22,23を部分的に点灯または消灯すれば、中間色の照明光を合成することもできる。
【0025】
また、リング照明装置15は、ワークWの被測定面の形状により適切な照明角度を考慮し、例えば、表面に凹凸の多いワークWにおいて凹凸のエッジを検出したい場合には大きな照明角度θ2に設定する調節手段を備えている。すなわち、照明装置本体としてのケース16および光源ボックス17に対して相対移動可能に取り付けられた反射鏡40を、図3中二点鎖線で示すように、光軸7Aに沿ってワークWから離れる方向へ移動するとともに、対物レンズ7へのリング照明装置15の取付位置をワークWに近い位置とする。このようにすることで、光源ボックス17のミラー群30で合成され、光源ボックス17のスリット18を通過した照明光は、反射鏡40の反射面42の中でワークWに近い位置、つまり、曲率が設けられた反射面42の光軸7Aに対する傾斜角度の小さい位置で反射される。従って、反射された照明光は、光軸7Aに対して大きな照明角度θ2でワークWに照射されることとなる。
【0026】
前記制御装置50は、図5に示すような構成となっている。
すなわち、制御装置50は前記画像測定機のカラー画像作成装置51を含み構成され、カラー作成装置51は、中央処理装置(CPU)52と、このCPU52に接続された画像電気信号データ記憶手段53、カラーバランス比率記憶手段54、画像電気信号データ合成手段55を備えて構成されている。
カラー作成装置51によるカラー合成は、図6の模式図に示すように、光学ユニット10を含み構成される光学部Aの、赤色発光ダイオード21による照明光、緑色発光ダイオード22による照明光、および青色発光ダイオード23による照明光を照射したとき、撮影・合成部Bの白黒CCDカメラ11で得られる3枚の白黒画像61,62,63を合成して1枚のカラー画像64とするものである。
【0027】
CPU52には、カラー作成装置51とともに前記制御装置50を構成する表示制御部56が接続され、この表示制御部56を経由して合成されたカラー画像がCRT等の表示部57に表示されるようになっている。
なお、画像電気信号データ記憶手段53には、インターフェース(I/F)57を介して前記白黒CCDカメラ11が接続されている。
【0028】
画像電気信号データ記憶手段53には、図7に示すように、ワークWに赤色発光ダイオード21による照明光を照射したときに白黒CCDカメラ11で得られる赤色画像電気信号データ65、ワークWにG色発光ダイオード22による照明光を照射したときに白黒CCDカメラ11で得られる緑色画像電気信号データ66、および、ワークWにB色発光ダイオード23による照明光を照射したときに白黒CCDカメラ11で得られる青色画像電気信号データ67が、それぞれ記憶・保存されている。
【0029】
赤色画像電気信号データ65では、前述のように、赤色発光ダイオード21により赤色の照明を当てたとき、白黒CCDカメラ11で撮影された白黒画像61において、他に比べて明るい左上略1/3の部分65Aが、カラーバランス比率に基づいて合成されるとき、赤色となる部分である。従って、3枚の白黒画像61,62,63を合成してカラー画像64を作成したとき、図7の下部に示すように当該部分65Aが赤色となって表現されることになる。
緑色撮影画像66では、緑色発光ダイオード22により緑色の照明を当てたとき、白黒CCDカメラ11で撮影された白黒画像62において、左上方および上上方に比べてやや明るい下側略1/3の部分66Aが、カラーバランス比率に基づいて合成されるとき、緑色となる部分である。従って、3枚の白黒画像61,62,63を合成してカラー画像64を作成したとき、当該部分66Aが緑色となって表現されることになる。
青色撮影画像67では、青色発光ダイオード23により青色の照明を当てたとき、白黒CCDカメラ11で撮影された白黒画像63において、他に比べて明るい右上略1/3の部分67Aが、カラーバランス比率に基づいて合成されるとき、青色となる部分である。従って、3枚の白黒画像61,62,63を合成してカラー画像64を作成したとき、当該部分67Aが緑色となって表現されることになる。
【0030】
前記カラーバランス比率記憶手段54には、前記画像電気信号データ記憶手段53に記憶された前記赤色画像電気信号データ65、緑色画像電気信号データ66、および、青色画像電気信号データ67を合成する際のカラーバランス比率が保存されている。このカラーバランスの比率は、後でも述べるように、白色の対象物上で、前記赤色、緑色、青色の照明光をそれぞれ照射して得られる赤色データ、緑色データ、および、青色データのグレースケールの平均がほぼ同じとなるように演算して求められる。
【0031】
前記カラーバランス比率記憶手段54に記憶される赤色、緑色、青色のカラーバランスの比率は、図8に示すような手順によって求められる。
すなわち、まずステップ1(S1)でスタートして、S2で、リング照明装置15の赤色発光ダイオード21、緑色発光ダイオード22および青色発光ダイオード23により、赤色、緑色、青色の各発光色を照射できるようにリング照明装置15を白い紙の上に移動させ、S3で、赤色の照明を当てた画像データを作成するとともに、制御装置50の前記CPU52の記憶部に保存する。引き続き、S4で、緑色の照明を当てた画像データを作成するとともに、上記CPU52の記憶部に保存し、S5で、青色の照明を当てた画像データを作成するとともに、上記CPU52の記憶部に保存する。次に、S6で、各画像データにおける赤、緑、青各色のグレースケール(白と黒との間の灰色の全領域を表示するために、白と黒との割合を変化させた一連の色のない色調)の平均が同じになる比率、つまり、カラーバランス比率を計算して求め、S7で終了する。
ここで、カラーバランス比率の決め方の一例として、赤、緑、青各色の各グレースケール(平均)値のうち、最も低い(暗い)画像の値を1とし、他は、その最も低い画像の値に対する比率として求める方法がある。このようにすることにより、広い階調の合成画像を得ることができる。
【0032】
また、カラーバランス比率を求めるのは、赤、緑、青各色は、それぞれ1画素ごとに8bit(256色)の色情報を有しているので、リング照明装置15により赤色、G色、B色の発光色をそれぞれ照射したとき、画像データの中に、照明のばらつき等によりグレースケールの違いを生じることがある。そこで、赤、緑、青各色ごとに、画像全体の平均が同じとなるようにしておく必要があるからである。さらに、ワークWに応じて照明光の明るさを変えたときに、各照明光が一定の割合で明るさが変化するとは限らないため、設定した明るさでカラーバランス比率を求める必要があるからである。
【0033】
画像電気信号データ合成手段55は、白黒CCDカメラ11で撮影された3枚の白黒画像61,62,63を、カラーバランス比率記憶手段54に記憶されている赤色、緑色、青色のカラーバランスの比率に基づいて、画像電気信号データ記憶手段53に保存されている赤色画像電気信号データ65、緑色画像電気信号データ66、および、青色画像電気信号データ67からカラー画像64を合成するものである。
【0034】
画像電気信号データ合成手段55によるカラー画像の合成方法は、図9に示すような手順によって行われる。
すなわち、まずステップ1(S1)でスタートして、S2で、白黒CCDカメラ11で撮影された画像の合成したい範囲を指定する。ここで、合成したい範囲を指定する方法は、始点と終点とを撮影し、表示している画面上に始点と終点とを指定することにより行われる。例えば、現在見ている範囲内で指定すると、指定したその範囲が合成される。また、一度で指定できないようなもっと広い範囲を指定したい場合は、測定機1を駆動し白黒CCDカメラ11を移動して指定する。そして、この場合には、合成される画像は、複数枚が順次撮像されることになる。
【0035】
次に、S3で、赤色発光ダイオード21により赤色の照明を当てて作成した赤色画像電気信号データ65を画像電気信号データ記憶手段53に保存する。引き続き、S4で、G色発光ダイオード22によりGの照明を当てて作成した緑色画像電気信号データ66を画像電気信号データ記憶手段53に保存し、S5で、B色発光ダイオード23によりBの照明を当てて作成した青色画像電気信号データ67を画像電気信号データ記憶手段53に保存する。次いで、S6で、赤色画像電気信号データ65、緑色画像電気信号データ66および青色画像電気信号データ67の3枚のデータを順次取り込み、カラーバランス比率記憶手段54に記憶される赤色、緑色、青色のカラーバランスの比率に基づいてカラー合成し、S7で終了する。
【0036】
本実施形態によれば、次のような効果が得られる。
(1) 白黒CCDカメラ11で撮影されたワークWの白黒画像をカラー画像に合成する際に、赤色画像電気信号データ65、緑色画像電気信号データ66、および、青色画像電気信号データ67を基に、予め設定され各色ごとの標準の照度となったカラーバランス比率に基づいて合成されるので、各色照明光の明るさの違い等に影響されずに合成することができる。従って、白黒CCDカメラ11で撮影した画像を色バランスがよく合成色の色が一定となったよりリアルな画像で映すことができるようになって観察がしやすくなり、その結果、被測定物の形状等を明確に把握することができる。
【0037】
(2) 白黒CCDカメラ11で撮影されたワークWの白黒画像が、赤色画像電気信号データ65、緑色画像電気信号データ66、および、青色画像電気信号データ67を基に合成されるので、例えばカラーCCDカメラで、CCD上に設置されたカラーフィルタ、または3CCDカラーカメラで使用されるプリズムブロックのために画面が暗くなるという問題が生じることなく、明るい画像を得ることができる。
【0038】
(3) 赤色、緑色、青色の照明光は、当該赤色、緑色、青色のそれぞれの発光色を有する3種類の発光ダイオード20で構成されているので、その特長である高速応答性や長寿命性等を備えた光源とすることができるとともに、応答性が高速なので、リアルタイムでのカラー画像を得ることができる。
【0039】
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、前述の実施形態では、リング照明装置15を撮像ユニット10に設けられた対物レンズ7に取り付けたが、これに限らず、測定装置等の本体や測定台に取り付けてもよく、また、これらの測定装置等とは別にリング測定装置を支持する部材を設け、この部材に取り付けてもよい。
【0040】
【発明の効果】
以上に説明したように、本発明の画像測定機のカラー画像作成装置およびカラー画像合成方法によれば、白黒電荷結合素子で撮影された被測定物の画像をカラー画像にする際に、赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを基に、予め設定され各色ごとの標準の照度となったカラーバランス比率に基づいて合成されるので、各色照明光の明るさの違い等に影響されずに合成することができる。従って、白黒電荷結合素子で撮影した画像を色バランスがよく合成色の色が一定となったよりリアルな画像で映すことができるようになって観察がしやすくなり、その結果、被測定物の形状等を明確に把握することができる。
また、例えばカラーCCDカメラでは、CCD上に設置されたカラーフィルター、または3CCDカメラにおけるプリズムブロック等により、赤色、緑色、および青色に分光されるため、その分、画面が暗くなるが、本発明では、カラーフィルターやプリズムブロックを使用しないので、明るい画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像測定機を示す正面図である。
【図2】前記実施形態に係るリング照明装置を示す斜視図である。
【図3】前記実施形態に係るリング照明装置の断面図である。
【図4】前記実施形態に係るリング照明装置の底面図である。
【図5】前記実施形態に係る画像作成装置を含む制御装置を示すブロック図である。
【図6】前記実施形態に係る画像作成装置を示す模式図である。
【図7】前記実施形態に係る画像作成装置のカラー合成を示す模式図である。
【図8】前記実施形態に係る画像作成装置のカラーバランス比率を求める手順図である。
【図9】前記実施形態に係る画像作成装置のカラー合成の手順図である。
【符号の説明】
1  画像測定装置
7  対物レンズ
10  撮像ユニット
11  白黒CCDカメラ(白黒電荷結合素子)
15  リング照明装置(照明光学系)
20  発光ダイオード
21  赤色発光ダイオード
22  緑色発光ダイオード
23  青色発光ダイオード
50  制御装置
51  カラー画像作成装置
52  CPU
53  画像電気信号データ記憶手段
54  カラーバランス比率記憶手段
55  画像電気信号データ合成手段
61〜63  白黒画像
64  カラー画像
65  赤色画像電気信号データ
66  緑色画像電気信号データ
67  青色画像電気信号データ
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a color image creating apparatus and a color image synthesizing method for an image measuring device that measures the size and shape of an object to be measured from an image of the object to be measured obtained by an optical system. More specifically, the present invention relates to a color image creating apparatus and a color image synthesizing method of an image measuring device for synthesizing a captured image captured by a monochrome charge-coupled device (monochrome CCD) with a color image.
[0002]
[Background Art]
An optical microscope that optically forms an image of a measurement site on an object to be measured by an optical system and observes the image, and an image processing type measurement device that inspects and measures the shape and dimensions of the object to be measured from the image For example, a measuring microscope, a tool microscope, a projector, a three-dimensional image measuring machine, and the like are known. In these three-dimensional image measuring machines, it is essential to obtain a clear image of the object to be measured, and in order to satisfy this condition, a monochrome CCD (monochrome charge-coupled device) must be used for photographing the object to be measured. Is performed.
When a monochrome CCD is used for imaging, an image can be obtained with high resolution (resolution), so that the position of a point, a line, a circle, etc. on an object to be measured can be detected with high accuracy, and at a low cost. . In contrast, when a color CCD is used, information on both the surface properties and color of the light reflectance of the object to be measured is included. It is possible to observe a boundary between regions having different light reflectivities and colors, or to observe a region of a specific color. Therefore, by displaying a more realistic image, the state of the measured object can be clearly grasped.
2. Description of the Related Art Conventionally, for example, a scanner device has been known as one of the devices developed under the technical idea of observing a color image using a monochrome CCD in order to obtain an image of an object to be measured (see Patent Document 1). ).
[0003]
[Patent Document 1]
JP-A-2002-77534 (pages 2, 3; FIG. 7)
[0004]
[Problems to be solved by the invention]
In the scanner device of Patent Document 1, light is emitted from a color LED array for generating red, green, and blue images to a document placed on a flatbed, and the light is emitted by the flatbed. After being reflected, an image is formed by a lens module, and these red, green and blue images are converted by a monochrome CCD as red, green and blue image signals.
In the above-described scanner device, an original placed on a flatbed is always illuminated with illumination light under the same conditions, that is, in the shades of red, green, and blue, respectively. Therefore, when the ratio of red, green, and blue is changed due to variations in illumination and the aging of the color LED array, or when the brightness of the illumination light is changed in accordance with the document, it cannot be handled. There is a problem that the color balance is easily lost and the color of the composite color is not constant.
[0005]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a color image forming apparatus and a color image synthesizing method for an image measuring device capable of obtaining a color image having a good color balance and a constant synthesized color using a monochrome CCD.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, a color image creating device for an image measuring machine according to the present invention employs the following configuration.
A color image creating apparatus for an image measuring device according to claim 1 of the present invention has an illumination optical system that can selectively output red, green, and blue illumination light, and outputs illumination light from the illumination optical system. In a color image creation device of an image measuring device for measuring the size and shape of an object to be measured from an image of the object to be measured obtained by irradiating the object to be measured, a black-and-white charge coupling for converting the image of the object to an electric signal An element and red image electric signal data obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with red illumination light; and the black-and-white charge-coupled device when the object to be measured is irradiated with green illumination light. Green image electric signal data obtained in, and image electric signal data storage means for storing respectively blue image electric signal data obtained by the black and white charge-coupled device when illuminating the device under test with blue illumination light, Said A color balance ratio in which a color balance ratio when a red image electric signal data, a green image electric signal data, and a blue image electric signal data stored in the image electric signal data storage means are combined to form a color image is stored in advance. A storage unit, and a red image electrical signal data, a green image electrical signal data, and a blue image electrical signal stored in the image electrical signal data storage unit based on the color balance ratio stored in the color balance ratio storage unit. Image electric signal data synthesizing means for synthesizing data.
[0007]
According to the present invention, when converting the image of the device under test photographed by the black-and-white charge-coupled device into a color image, the red image electric signal data, the green image electric signal data, and the blue image electric signal data are used. Since the images are synthesized based on the color balance ratio which is set in advance and is the standard illuminance for each color, the images can be synthesized without being affected by the difference (difference) in the brightness of the illumination light of each color. Therefore, the image captured by the black-and-white charge-coupled device can be displayed in a more realistic image with a good color balance and a constant color of the synthesized color, which facilitates observation, and as a result, the shape of the object to be measured Etc. can be grasped clearly.
Further, for example, in a color CCD camera, the light is separated into red, green, and blue by a color filter installed on the CCD or a prism block in a 3CCD camera, so that the screen becomes darker. Since no color filter or prism block is used, a bright image can be obtained.
[0008]
The color image creating device of the image measuring device according to claim 2 is the color image creating device according to claim 1, wherein the color balance ratio of the color balance ratio storage unit is such that the color balance ratio of the red color is set on a white object. , Green data, and blue data, respectively, so that the average of the gray scales of the red data, green data, and blue data is approximately the same.
According to this configuration, the ratio of the color balance is determined so that the average of the gray scales is substantially the same for each color, and the density of each color can be kept constant. It can flexibly cope with the difference (difference) in the brightness of each color illumination when irradiating and the brightness of the illumination light is changed according to the object to be measured. As a result, red image electric signal data, green image electric When the signal data and the blue image electric signal data are combined, the color of the combined color can always be kept constant.
[0009]
According to a third aspect of the present invention, in the color image creating apparatus of the first or second aspect, the illumination light of red, green, and blue includes the red, green, and blue illumination lights. It is characterized by being constituted by three kinds of light emitting diodes having respective light emitting colors.
According to this configuration, by using a light-emitting diode, which is a typical light-emitting element, a light source having high-speed response and long life, which are its features, can be obtained.
[0010]
A color image synthesizing method for an image measuring device according to claim 4, further comprising an illumination optical system capable of selectively outputting red, green, and blue illumination light, and using the illumination light from the illumination optical system as an object to be measured. In a color image creation method of an image measuring device that measures the size and shape of the measured object from the image of the measured object obtained by irradiating the image, the image of the measured object is converted to an electric signal by a black and white charge-coupled device, Red image electric signal data obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with red illumination light, and obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with green illumination light. Green image electric signal data, and blue image electric signal data obtained by the black-and-white charge-coupled device when the device under test is irradiated with blue illumination light, respectively stored in image electric signal data storage means, The color balance ratio when combining the red image electric signal data, the green image electric signal data, and the blue image electric signal data stored in the signal data storage means is set and stored in advance in the color balance ratio storage means, Based on the color balance ratio stored in the ratio storage unit, the red, green, and blue image electrical signal data stored in the image electrical signal data storage unit is combined with the image electrical signal data. It is characterized by combining by means.
[0011]
According to this configuration, when converting the image of the DUT captured by the black-and-white charge-coupled device into a color image, based on the red image electric signal data, the green image electric signal data, and the blue image electric signal data, Since the images are synthesized based on the color balance ratio which is set in advance and is the standard illuminance for each color, the images can be synthesized without being affected by the difference in brightness of the illumination light of each color. Therefore, the image captured by the black-and-white charge-coupled device can be displayed in a more realistic image with a good color balance and a constant color of the synthesized color, which facilitates observation, and as a result, the shape of the object to be measured Etc. can be grasped clearly.
Further, for example, in a color CCD camera, since the light is separated into red, green, and blue by a color filter installed on the CCD or a prism block in a 3CCD camera, the screen becomes darker by that amount. Since no color filter or prism block is used, a bright image can be obtained.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a preferred embodiment of a color image creating apparatus for an image measuring device according to the present invention will be described in detail with reference to the drawings.
FIG. 1 shows an image measuring device 1, which is provided with a color image creating device 51 (see FIG. 5) of the present invention. The color image creating device 51 combines an image of the work W, which is an object to be measured, taken with the monochrome CCD camera 11 (see FIG. 5), which is a monochrome charge-coupled device, into a color image so that the image can be observed in color. is there.
[0013]
First, the image measuring device 1 will be described. The image measuring device 1 includes a measuring device main body 2, an imaging unit 10 having an illumination optical system provided in the measuring device main body 2, a control device 50 for controlling the measuring device main body 2 and the like, a CRT for displaying a measurement result, and the like. The display unit 57 (see FIG. 5) can be used to measure and display the size of the work W and the shape of the edge portion and the like from the image of the work W obtained by the imaging unit 10. I have.
[0014]
The measuring machine main body 2 includes a base 4, and a table 3 on which the work W is placed is provided on the base 4. The table 3 is driven in a Y-axis direction (a direction perpendicular to the paper surface in FIG. 1; a depth direction) by a Y-axis driving mechanism (not shown). Support arms 5 extending upward are provided substantially at the center of both side edges of the base 4, and an X-axis guide 6 is hung on both upper ends of these support arms 5. The imaging unit 10 is provided, for example, on the front surface of the X-axis guide 6. The imaging unit 10 is driven along the X-axis guide 6 in the X-axis direction (a direction orthogonal to the Y-axis direction; left and right directions) by an X-axis driving mechanism (not shown).
[0015]
Although not shown in FIG. 1, the monochrome CCD camera 11 (see FIG. 5) for converting an image of the work W into an electric signal is provided inside the imaging unit 10, and an objective lens is provided below the monochrome CCD camera 11. 7 are provided. The objective lens 7 faces the upper surface of the table 3. In addition, inside the imaging unit 10, in addition to the ring illumination device 15 (see FIGS. 2 to 4) constituting an illumination optical system, a focusing mechanism (not shown), and a Z-axis direction (X-axis, Y-axis) of the monochrome CCD camera 11. A Z-axis drive mechanism (not shown) for moving a position in a direction perpendicular to the axial direction in a vertical plane (vertical direction) is provided.
[0016]
The ring illumination device 15 has a structure as shown in FIGS.
That is, the ring illumination device 15 is used for illumination for illuminating the work W on the table 3 of the image measuring device 1 and is attached to the objective lens 7. The ring illumination device 15 surrounds the objective lens 7 and is attached to a case 16 formed in a ring shape around the optical axis 7A of the objective lens 7 and a side inside the case 16 close to the objective lens 7. The light source box 17 is provided. Inside the light source box 17, a plurality of light emitting diodes 20 as light sources and a mirror group 30 are provided, and around the light source box 17, a reflecting mirror 40 for condensing light is arranged. In FIG. 3, the objective lens 7 is positioned at a predetermined distance from the workpiece W in the vertical direction. At this time, the ring illumination device 15 attached to the objective lens 7 and the workpiece W The workpiece W is irradiated with illumination light at an illumination angle θ1 corresponding to the distance (working distance).
[0017]
The case 16 is formed from a metal plate or the like, and is provided with a lens insertion hole 16A that penetrates the center of the case 16 vertically in FIG. 3, and is formed in a ring shape opened downward in FIG. The lens insertion hole 16A of the case 16 has an inner diameter that allows the objective lens 7 to be inserted with a margin, and the case 16 allows the ring illumination device 15 to be attached to the objective lens 7 with the objective lens 7 inserted. (Not shown) is provided. As this mounting portion, for example, three screws supported so as to be able to advance and retreat toward the objective lens 7 can be applied.
[0018]
The light source box 17 is a box-shaped member formed from a metal plate or the like similar to the case 16 and having a substantially rectangular corner with a chamfered corner, and has four surfaces separated from the objective lens 7 on four sides. A slit 18 is provided along a plane substantially orthogonal to the optical axis 7A.
Inside the light source box 17, light-emitting diodes 20 having three kinds of emission colors (red; R, green; G, blue; B) are arranged for each type. The light-emitting diodes 20 of the respective colors are arranged such that a red light-emitting diode 21, a green light-emitting diode 22, and a blue light-emitting diode 23 are arranged at predetermined intervals in order from the top in FIG. 3 along the optical axis 7A. In a substantially orthogonal plane, they are arranged in a substantially rectangular plane with the optical axis 7A as a center. The red, green, and blue light-emitting diodes 21, 22, and 23 are arranged seven each along each side of a substantially rectangular plane, and each emits light in a direction substantially orthogonal to each side and away from the optical axis 7A. It is arranged facing.
The light-emitting diodes 20 of each color are provided with a condenser lens at the front end in the light-emitting direction such that the divergence angle of the emitted illumination light becomes a predetermined angle (for example, 20 °), and are connected to a control circuit and a power supply (not shown). ing.
[0019]
A mirror group 30 including three types of mirrors 31, 32, and 33 is disposed in front of the light emitting diode 20 of each color in the light emitting direction, and each of the mirrors 31, 32, and 33 has a substantially rectangular flat plate shape. Each side of the light emitting diode 20 is formed, the longitudinal direction of which is substantially parallel to the rows of the light emitting diodes 21, 22, and 23 of red, green, and blue, and the length in the longitudinal direction is arranged in a substantially rectangular plane. Is approximately equal to the length. The mirrors 31, 32, and 33 are installed at an angle of approximately 45 ° with respect to the optical axis 7A with respect to the cross-sectional direction along the optical axis 7A.
[0020]
The mirror 31 is a reflection mirror, and is installed so as to reflect the emitted light emitted from the red light emitting diode 21 toward the workpiece W along the optical axis 7A.
Each of the mirrors 32 and 33 is a dichroic mirror, which reflects light having a wavelength shorter than a predetermined wavelength and transmits light having a wavelength longer than the predetermined wavelength, or transmits light having a wavelength shorter than the predetermined wavelength. And has a characteristic of reflecting light having a wavelength longer than the predetermined wavelength. That is, the mirrors 32 and 33 are dichroic mirrors in which the number of transitions from reflection to transmission or from transmission to reflection according to the wavelength of light is only one at a predetermined wavelength.
[0021]
The mirror 32 transmits the red light reflected by the mirror 31 and reflects green emitted light having a shorter wavelength than the red light emitted from the green light emitting diode 22 toward the workpiece W along the optical axis 7A. It is installed to be.
The mirror 33 reflects the red light transmitted through the mirror 32 and the green light reflected by the mirror 32, and transmits blue emitted light having a shorter wavelength than the red or green light emitted from the blue light emitting diode 23. It is installed to be.
[0022]
The red and green lights reflected by the mirror 33 and the blue light transmitted through the mirror 33 move away from the optical axis 7A on the plane in which the combined illumination light travels, that is, on a plane substantially orthogonal to the optical axis 7A. A reflecting mirror 40 is provided in front of the direction. The reflecting mirror 40 is provided between each side of the planar rectangular shape of the light source box 17 and the case 16, and is connected to the light source box 17 along the optical axis 7A by a driving device (not shown) provided in the case 16. The relative position can be moved.
[0023]
The reflecting mirror 40 is made of a metal reflecting mirror body 41, and the side facing the optical axis 7A is mirror-finished to form a reflecting surface 42 that reflects light. The reflection surface 42 has a convex curvature in a direction away from the optical axis 7A with respect to a cross-sectional direction along the optical axis 7A so as to reflect the illumination light toward the workpiece W. Also, with respect to a plane direction substantially orthogonal to the optical axis 7A, the illumination light traveling in a direction away from the optical axis 7A in a direction substantially parallel to the light emitting direction of the light emitting diodes 20 arranged in a substantially rectangular shape is directed in the direction of the optical axis 7A. Has a radius approximately twice the distance from the optical axis 7A to the reflecting mirror 40, and has a convex curvature in a direction away from the optical axis 7A.
[0024]
The above ring lighting device 15 is operated as follows.
First, the position of the objective lens 7 is adjusted to a measurement distance set according to the size, shape, and measurement range of the work W, and the ring illumination device 15 is attached to the objective lens 7.
In order to adjust the hue of the illumination light according to the hue of the work W, an appropriate color light emitting diode 20 is selected from the red, green, and blue light emitting diodes 21, 22, and 23 arranged as a light source. , Turn on / off control.
That is, if all the red, green, and blue light emitting diodes 21, 22, and 23 are turned on, the illumination light synthesized by the mirror group 30 becomes white, and if only one of the colors is turned on, the illumination of the one color is turned on. It becomes light. In addition, if any two of the red, green, and blue light emitting diodes 21, 22, and 23 are selected and turned on, the illumination light is a combination of the selected two colors. Furthermore, by partially turning on or off any of the selected light emitting diodes 21, 22, and 23, it is also possible to synthesize illumination light of an intermediate color.
[0025]
In addition, the ring illumination device 15 considers an appropriate illumination angle depending on the shape of the surface to be measured of the work W, and for example, sets a large illumination angle θ2 when it is desired to detect an uneven edge on the work W having many irregularities on the surface. Adjusting means. That is, the reflecting mirror 40 movably attached to the case 16 and the light source box 17 as a lighting device body is moved away from the workpiece W along the optical axis 7A as shown by a two-dot chain line in FIG. And the mounting position of the ring illumination device 15 to the objective lens 7 is set to a position close to the workpiece W. In this way, the illumination light synthesized by the mirror group 30 of the light source box 17 and having passed through the slit 18 of the light source box 17 is located at a position near the work W in the reflection surface 42 of the reflection mirror 40, that is, the curvature. Is reflected at a position where the inclination angle of the reflection surface 42 provided with the light axis 7A is small. Therefore, the reflected illumination light is applied to the work W at a large illumination angle θ2 with respect to the optical axis 7A.
[0026]
The control device 50 has a configuration as shown in FIG.
That is, the control device 50 includes a color image creating device 51 of the image measuring device. The color creating device 51 includes a central processing unit (CPU) 52 and an image electrical signal data storage unit 53 connected to the CPU 52. It comprises a color balance ratio storage means 54 and an image electric signal data synthesizing means 55.
As shown in the schematic diagram of FIG. 6, the color synthesis by the color creation device 51 includes illumination light of the red light emitting diode 21, illumination light of the green light emitting diode 22, and blue light of the optical unit A including the optical unit 10. When illuminating light is emitted by the light emitting diode 23, three monochrome images 61, 62, 63 obtained by the monochrome CCD camera 11 of the photographing / combining unit B are combined to form one color image 64.
[0027]
The CPU 52 is connected to a display control unit 56 that constitutes the control device 50 together with the color creation device 51, and a color image synthesized via the display control unit 56 is displayed on a display unit 57 such as a CRT. It has become.
The black-and-white CCD camera 11 is connected to the image electric signal data storage means 53 via an interface (I / F) 57.
[0028]
As shown in FIG. 7, the image electric signal data storage means 53 stores red image electric signal data 65 obtained by the black-and-white CCD camera 11 when the work W is irradiated with the illumination light from the red light-emitting diode 21, and stores the work W Green image electric signal data 66 obtained by the black-and-white CCD camera 11 when illuminating light from the color light-emitting diode 22 is illuminated, and green image electrical signal data 66 obtained by the monochrome CCD camera 11 when illuminating light from the B-color light-emitting diode 23 illuminates the work W The stored blue image electric signal data 67 is stored and stored.
[0029]
As described above, in the red image electric signal data 65, when the red light is illuminated by the red light-emitting diode 21, the black-and-white image 61 photographed by the black-and-white CCD camera 11 has an upper left that is about 1/3 brighter than the others. When the portion 65A is synthesized based on the color balance ratio, the portion becomes red. Therefore, when the color image 64 is created by combining the three black and white images 61, 62, and 63, the portion 65A is expressed in red as shown in the lower part of FIG.
In the green photographed image 66, when a green light is emitted by the green light emitting diode 22, in the black and white image 62 photographed by the black and white CCD camera 11, the lower left portion and the lower approximately upper third are slightly brighter than the upper left portion. 66A is a portion that becomes green when synthesized based on the color balance ratio. Therefore, when the color image 64 is created by combining the three black and white images 61, 62, and 63, the portion 66A is expressed as green.
In the blue photographed image 67, when a blue light is illuminated by the blue light-emitting diode 23, in the black-and-white image 63 photographed by the black-and-white CCD camera 11, a portion 67A of approximately 1/3 in the upper right, which is brighter than the others, has a color balance ratio. Is a portion that becomes blue when combined based on Therefore, when the color image 64 is created by combining the three monochrome images 61, 62, and 63, the portion 67A is expressed as green.
[0030]
The color balance ratio storage means 54 stores the red image electric signal data 65, the green image electric signal data 66, and the blue image electric signal data 67 stored in the image electric signal data storage means 53. The color balance ratio is saved. As will be described later, the ratio of the color balance is, on a white object, the red, green, and blue data obtained by irradiating each of the red, green, and blue illumination light, and the gray scale of the blue data. It is calculated and calculated so that the average is almost the same.
[0031]
The ratio of the red, green, and blue color balances stored in the color balance ratio storage means 54 is obtained by a procedure as shown in FIG.
That is, first, in step 1 (S1), the red light emitting diode 21, the green light emitting diode 22, and the blue light emitting diode 23 of the ring lighting device 15 can illuminate red, green, and blue light emitting colors in S2. Then, the ring illuminating device 15 is moved on white paper, and in S3, image data with red illumination is created and stored in the storage unit of the CPU 52 of the control device 50. Subsequently, in S4, image data with green illumination is created and stored in the storage unit of the CPU 52. In S5, image data with blue illumination is created and stored in the storage unit of the CPU 52. I do. Next, in S6, a series of colors in which the ratio of white and black is changed to display the entire gray scale of red, green, and blue in each image data (to display the entire gray area between white and black) (A color tone without color), that is, a color balance ratio is calculated and obtained, and the process ends in S7.
Here, as an example of how to determine the color balance ratio, the value of the lowest (dark) image among the grayscale (average) values of the red, green, and blue colors is set to 1, and the other values are the values of the lowest image There is a method of calculating as a ratio with respect to. By doing so, a composite image with a wide gradation can be obtained.
[0032]
The color balance ratio is determined because each of the red, green, and blue colors has color information of 8 bits (256 colors) for each pixel. When each of the luminescent colors is irradiated, a difference in gray scale may occur in the image data due to a variation in illumination or the like. Therefore, it is necessary to make the average of the entire image the same for each of the red, green, and blue colors. Furthermore, when the brightness of the illumination light is changed in accordance with the work W, the brightness of each illumination light does not always change at a constant rate, so that it is necessary to obtain the color balance ratio at the set brightness. It is.
[0033]
The image electric signal data synthesizing unit 55 converts the three black and white images 61, 62, 63 taken by the black and white CCD camera 11 into red, green, and blue color balance ratios stored in the color balance ratio storage unit 54. The color image 64 is synthesized from the red image electric signal data 65, the green image electric signal data 66, and the blue image electric signal data 67 stored in the image electric signal data storage means 53 based on the above.
[0034]
The method of synthesizing a color image by the image electric signal data synthesizing means 55 is performed according to the procedure shown in FIG.
That is, first, the process starts in step 1 (S1), and in S2, a range in which images captured by the monochrome CCD camera 11 are to be combined is specified. Here, a method of designating a range to be synthesized is performed by photographing a start point and an end point and designating the start point and the end point on a displayed screen. For example, if the user specifies within the currently viewed range, the specified range is combined. To specify a wider range that cannot be specified at one time, the measuring device 1 is driven and the monochrome CCD camera 11 is moved to specify. In this case, a plurality of images to be combined are sequentially captured.
[0035]
Next, in S3, the red image electric signal data 65 created by illuminating the red light by the red light emitting diode 21 is stored in the image electric signal data storage means 53. Subsequently, in S4, the green image electric signal data 66 created by illuminating the G light by the G light emitting diode 22 is stored in the image electric signal data storage means 53, and the B light is emitted by the B light emitting diode 23 in S5. The applied blue image electric signal data 67 is stored in the image electric signal data storage means 53. Next, in S6, three pieces of data of the red image electric signal data 65, the green image electric signal data 66, and the blue image electric signal data 67 are sequentially fetched, and the red, green, and blue colors stored in the color balance ratio storage means 54 are acquired. Color synthesis is performed based on the color balance ratio, and the process ends in S7.
[0036]
According to the present embodiment, the following effects can be obtained.
(1) When combining a monochrome image of the work W captured by the monochrome CCD camera 11 with a color image, the black image electrical signal data 65, the green image electrical signal data 66, and the blue image electrical signal data 67 are used. Since the images are synthesized based on the preset color balance ratio of the standard illuminance for each color, the images can be synthesized without being affected by the difference in the brightness of the illumination light of each color. Therefore, the image captured by the monochrome CCD camera 11 can be displayed as a more realistic image having a good color balance and a constant color of the synthesized color, which facilitates observation, and as a result, the shape of the object to be measured can be improved. Etc. can be grasped clearly.
[0037]
(2) Since a black and white image of the work W captured by the black and white CCD camera 11 is synthesized based on the red image electric signal data 65, the green image electric signal data 66, and the blue image electric signal data 67, for example, With the CCD camera, a bright image can be obtained without the problem that the screen is darkened due to the color filter installed on the CCD or the prism block used in the 3CCD color camera.
[0038]
(3) Since the red, green, and blue illumination lights are composed of three types of light emitting diodes 20 having the respective emission colors of red, green, and blue, high-speed response and long life, which are the features, are provided. And the like, and the response speed is high, so that a real-time color image can be obtained.
[0039]
It should be noted that the present invention is not limited to the above-described embodiment, but includes modifications and improvements as long as the object of the present invention can be achieved.
For example, in the above-described embodiment, the ring illumination device 15 is attached to the objective lens 7 provided in the imaging unit 10. However, the present invention is not limited to this, and the ring illumination device 15 may be attached to a main body such as a measurement device or a measurement table. A member that supports the ring measuring device may be provided separately from the measuring device and the like, and may be attached to this member.
[0040]
【The invention's effect】
As described above, according to the color image forming apparatus and the color image synthesizing method of the image measuring device of the present invention, when converting the image of the device under test photographed by the monochrome charge-coupled device into a color image, a red image The electric signal data, the green image electric signal data, and the blue image electric signal data are combined based on a preset color balance ratio that is a standard illuminance for each color based on the electric signal data. Can be synthesized without being affected by the difference between them. Therefore, the image captured by the black-and-white charge-coupled device can be displayed in a more realistic image with a good color balance and a constant color of the synthesized color, which facilitates observation, and as a result, the shape of the object to be measured Etc. can be grasped clearly.
Also, for example, in a color CCD camera, the light is separated into red, green, and blue by a color filter installed on the CCD or a prism block in a 3CCD camera, so that the screen becomes darker by that amount. Since no color filter or prism block is used, a bright image can be obtained.
[Brief description of the drawings]
FIG. 1 is a front view showing an image measuring device according to an embodiment of the present invention.
FIG. 2 is a perspective view showing a ring lighting device according to the embodiment.
FIG. 3 is a cross-sectional view of the ring lighting device according to the embodiment.
FIG. 4 is a bottom view of the ring lighting device according to the embodiment.
FIG. 5 is a block diagram showing a control device including the image creating device according to the embodiment.
FIG. 6 is a schematic diagram showing an image creating apparatus according to the embodiment.
FIG. 7 is a schematic diagram showing color synthesis of the image creating apparatus according to the embodiment.
FIG. 8 is a flowchart illustrating a procedure for obtaining a color balance ratio of the image creating apparatus according to the embodiment.
FIG. 9 is a diagram illustrating a procedure of color synthesis of the image creating apparatus according to the embodiment.
[Explanation of symbols]
1 Image measuring device
7 Objective lens
10 Imaging unit
11 Black and white CCD camera (black and white charge-coupled device)
15 Ring illumination device (illumination optical system)
20 Light emitting diode
21 Red light emitting diode
22 Green LED
23 Blue light emitting diode
50 Control device
51 Color Image Creation Device
52 CPU
53 Image electric signal data storage means
54 Color balance ratio storage means
55 Image Electric Signal Data Synthesis Means
61-63 black and white image
64 color images
65 Red image electric signal data
66 Green image electric signal data
67 Blue image electric signal data

Claims (4)

赤色、緑色、青色の照明光を選択的に出力可能な照明光学系を有し、この照明光学系からの照明光を被測定物に照射して得られる被測定物の画像から被測定物の寸法や形状を測定する画像測定機のカラー画像作成装置において、
前記被測定物の画像を電気信号に変換する白黒電荷結合素子と、
前記被測定物に赤色の照明光を照射したときに前記白黒電荷結合素子で得られる赤色画像電気信号データ、前記被測定物に緑色の照明光を照射したときに前記白黒電荷結合素子で得られる緑色画像電気信号データ、および、前記被測定物に青色の照明光を照射したときに前記白黒電荷結合素子で得られる青色画像電気信号データをそれぞれ記憶する画像電気信号データ記憶手段と、
前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを合成してカラー画像とする際のカラーバランス比率を予め設定記憶したカラーバランス比率記憶手段と、前記カラーバランス比率記憶手段に記憶されたカラーバランス比率に基づいて、前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを合成する画像電気信号データ合成手段と、を備えたことを特徴とする画像測定機のカラー画像作成装置。
It has an illumination optical system capable of selectively outputting red, green, and blue illumination light, and illuminates the illumination light from the illumination optical system onto the object. In a color image creation device of an image measuring machine that measures dimensions and shapes,
A black-and-white charge-coupled device that converts the image of the device under test into an electric signal,
Red image electric signal data obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with red illumination light, and obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with green illumination light. Green image electric signal data, and image electric signal data storage means for storing blue image electric signal data obtained by the black-and-white charge-coupled device when the device under test is irradiated with blue illumination light,
A color balance in which a color balance ratio when combining a red image electrical signal data, a green image electrical signal data, and a blue image electrical signal data stored in the image electrical signal data storage unit to form a color image is stored in advance. A ratio storage unit, and a red image electric signal data, a green image electric signal data, and a blue image electric signal stored in the image electric signal data storage unit based on the color balance ratio stored in the color balance ratio storage unit. A color image creating device for an image measuring device, comprising: image electrical signal data combining means for combining signal data.
請求項1に記載の画像測定機のカラー画像作成装置において、前記カラーバランス比率記憶手段のカラーバランスの比率は、白色の対象物上で、前記赤色、緑色、青色をそれぞれ照射して得られる赤色データ、緑色データ、および、青色データのグレースケールの平均がほぼ同じとなるように演算して求められるものであることを特徴とする画像測定機のカラー画像作成装置。2. The color image creating apparatus for an image measuring device according to claim 1, wherein the color balance ratio of said color balance ratio storage means is obtained by irradiating each of said red, green, and blue on a white object. A color image forming apparatus for an image measuring device, wherein the color image forming apparatus is calculated and calculated so that grayscale averages of data, green data, and blue data become substantially the same. 請求項1または請求項2に記載の画像測定機のカラー画像作成装置において、前記赤色、緑色、青色の照明光は、前記赤色、緑色、青色のそれぞれの発光色を有する3種類の発光ダイオードで構成されていることを特徴とする画像測定機のカラー画像作成装置。3. The color image creating device for an image measuring device according to claim 1, wherein the red, green, and blue illumination lights are three types of light emitting diodes having respective emission colors of the red, green, and blue. A color image creating apparatus for an image measuring machine, comprising: 赤色、緑色、青色の照明光を選択的に出力可能な照明光学系を有し、この照明光学系からの照明光を被測定物に照射して得られる被測定物の画像から被測定物の寸法や形状を測定する画像測定機のカラー画像作成方法において、
前記被測定物の画像を白黒電荷結合素子により電気信号に変換し、
前記被測定物に赤色の照明光を照射したときに前記白黒電荷結合素子で得られる赤色画像電気信号データ、前記被測定物に緑色の照明光を照射したときに前記白黒電荷結合素子で得られる緑色画像電気信号データ、および、前記被測定物に青色の照明光を照射したときに前記白黒電荷結合素子で得られる青色画像電気信号データをそれぞれ画像電気信号データ記憶手段に記憶し、
前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを合成する際のカラーバランス比率を予めカラーバランス比率記憶手段に設定記憶し、
前記カラーバランス比率記憶手段に記憶されたカラーバランス比率に基づいて、前記画像電気信号データ記憶手段に記憶された赤色画像電気信号データ、緑色画像電気信号データ、および、青色画像電気信号データを画像電気信号データ合成手段により合成することを特徴とする画像測定機のカラー画像作成方法。
It has an illumination optical system capable of selectively outputting red, green, and blue illumination light, and illuminates the illumination light from the illumination optical system onto the object. In a color image creation method of an image measuring machine that measures dimensions and shapes,
The image of the device under test is converted to an electric signal by a black and white charge-coupled device,
Red image electric signal data obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with red illumination light, and obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with green illumination light. Green image electric signal data, and blue image electric signal data obtained by the black-and-white charge-coupled device when the object to be measured is irradiated with blue illumination light, respectively stored in image electric signal data storage means,
Red image electric signal data stored in the image electric signal data storage means, green image electric signal data, and the color balance ratio when combining the blue image electric signal data is set and stored in advance in the color balance ratio storage means,
Based on the color balance ratio stored in the color balance ratio storage means, the red image electric signal data, the green image electric signal data, and the blue image electric signal data stored in the image electric signal data storage A color image creating method for an image measuring machine, wherein the color image is created by signal data combining means.
JP2002287257A 2002-09-30 2002-09-30 Color image creating apparatus and color image composition method for image measuring machine Expired - Fee Related JP4248216B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002287257A JP4248216B2 (en) 2002-09-30 2002-09-30 Color image creating apparatus and color image composition method for image measuring machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002287257A JP4248216B2 (en) 2002-09-30 2002-09-30 Color image creating apparatus and color image composition method for image measuring machine

Publications (2)

Publication Number Publication Date
JP2004126768A true JP2004126768A (en) 2004-04-22
JP4248216B2 JP4248216B2 (en) 2009-04-02

Family

ID=32280119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002287257A Expired - Fee Related JP4248216B2 (en) 2002-09-30 2002-09-30 Color image creating apparatus and color image composition method for image measuring machine

Country Status (1)

Country Link
JP (1) JP4248216B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011054110A (en) * 2009-09-04 2011-03-17 Mitsutoyo Corp Image processing type measuring instrument and image processing measuring method
JP2011521256A (en) * 2008-05-19 2011-07-21 ペムトロンカンパニーリミテッド Surface shape measuring device
JP2011258274A (en) * 2010-06-09 2011-12-22 Asahi Glass Co Ltd Glass substrate inspecting device and glass substrate manufacturing method
JP2011257412A (en) * 2011-07-11 2011-12-22 Asahi Glass Co Ltd Glass substrate inspection apparatus and glass substrate manufacturing method
CN110349235A (en) * 2018-07-08 2019-10-18 康代影像科技(苏州)有限公司 Generate the method and computer-readable medium of the combined color image of examined PCB
CN115460386A (en) * 2022-08-31 2022-12-09 武汉精立电子技术有限公司 Method and system for acquiring color image by using black and white camera
CN119155560A (en) * 2024-11-18 2024-12-17 元素光电智能科技(苏州)有限公司 Method and system for acquiring color image based on black-and-white line scanning camera in combined light field
JP2024178273A (en) * 2019-07-26 2024-12-24 株式会社Fuji Substrate work system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011521256A (en) * 2008-05-19 2011-07-21 ペムトロンカンパニーリミテッド Surface shape measuring device
EP2282163A4 (en) * 2008-05-19 2013-09-04 Pemtron Co Ltd Apparatus for measurement of a surface profile
JP2011054110A (en) * 2009-09-04 2011-03-17 Mitsutoyo Corp Image processing type measuring instrument and image processing measuring method
JP2011258274A (en) * 2010-06-09 2011-12-22 Asahi Glass Co Ltd Glass substrate inspecting device and glass substrate manufacturing method
JP2011257412A (en) * 2011-07-11 2011-12-22 Asahi Glass Co Ltd Glass substrate inspection apparatus and glass substrate manufacturing method
CN110349235A (en) * 2018-07-08 2019-10-18 康代影像科技(苏州)有限公司 Generate the method and computer-readable medium of the combined color image of examined PCB
CN110349235B (en) * 2018-07-08 2024-05-14 苏州康代智能科技股份有限公司 Method for generating composite color image of inspected PCB and computer readable medium
JP2024178273A (en) * 2019-07-26 2024-12-24 株式会社Fuji Substrate work system
JP7705995B2 (en) 2019-07-26 2025-07-10 株式会社Fuji Substrate work system
CN115460386A (en) * 2022-08-31 2022-12-09 武汉精立电子技术有限公司 Method and system for acquiring color image by using black and white camera
CN115460386B (en) * 2022-08-31 2024-05-17 武汉精立电子技术有限公司 Method and system for acquiring color image by black-and-white camera
CN119155560A (en) * 2024-11-18 2024-12-17 元素光电智能科技(苏州)有限公司 Method and system for acquiring color image based on black-and-white line scanning camera in combined light field

Also Published As

Publication number Publication date
JP4248216B2 (en) 2009-04-02

Similar Documents

Publication Publication Date Title
US10508902B2 (en) Three-dimensional measurement device
JP6325816B2 (en) Magnification observation apparatus, magnification image observation method, magnification image observation program, and computer-readable recording medium
US10262431B2 (en) Three-dimensional measurement device
CN105263437B (en) Focused scanning device for color recording
US7756328B2 (en) Color chart processing apparatus, color chart processing method, and color chart processing program
JP6791631B2 (en) Image generation method and inspection equipment
JP2009025189A (en) Measuring instrument
JP4248216B2 (en) Color image creating apparatus and color image composition method for image measuring machine
JP5969867B2 (en) Optical microscope
JP3140462U (en) Board inspection equipment
US7589330B2 (en) Ultraviolet microscope apparatus
JP2007033217A (en) Interference measuring apparatus and interference measuring method
JP2005331488A (en) Magnified observation device, magnified image observation method, magnified observation operation program, and computer-readable storage medium or storage device
JP6355334B2 (en) Magnification observation apparatus, magnification image observation method, magnification image observation program, and computer-readable recording medium
CN114867984A (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and program
JP2009271093A (en) Color chip processing device, color chip processing method, and color chip processing program
US20240085326A1 (en) Method, computer program and data processing unit for preparing observation of fluorescence intensity, method for observing fluorescence intensity, and optical observation system
JP2006005509A (en) Characteristic evaluation apparatus and characteristic evaluation method for imaging apparatus
JP2003202296A (en) Image input device, three-dimensional measuring device, and three-dimensional image processing system
JP4227328B2 (en) Object color display device
JP2002013921A (en) Three-dimensional imaging device and three-dimensional imaging method
JPH0625713U (en) Soldering part inspection device
JP2014056059A (en) Optical microscope
JP6925489B2 (en) Chart device
JP3584685B2 (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050726

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070703

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4248216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150123

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees