[go: up one dir, main page]

JP6756676B2 - 製造システム - Google Patents

製造システム Download PDF

Info

Publication number
JP6756676B2
JP6756676B2 JP2017145401A JP2017145401A JP6756676B2 JP 6756676 B2 JP6756676 B2 JP 6756676B2 JP 2017145401 A JP2017145401 A JP 2017145401A JP 2017145401 A JP2017145401 A JP 2017145401A JP 6756676 B2 JP6756676 B2 JP 6756676B2
Authority
JP
Japan
Prior art keywords
machine
processing
state
inspection
machining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017145401A
Other languages
English (en)
Other versions
JP2019025561A (ja
Inventor
亘幸 桑原
亘幸 桑原
紀夫 武井
紀夫 武井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2017145401A priority Critical patent/JP6756676B2/ja
Priority to US16/035,973 priority patent/US10935967B2/en
Priority to CN201810785054.1A priority patent/CN109308048B/zh
Priority to DE102018117423.3A priority patent/DE102018117423A1/de
Publication of JP2019025561A publication Critical patent/JP2019025561A/ja
Application granted granted Critical
Publication of JP6756676B2 publication Critical patent/JP6756676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4086—Coordinate conversions; Other special calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33056—Reinforcement learning, agent acts, receives reward, emotion, action selective
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33321—Observation learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35356—Data handling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49065—Execute learning mode first for determining adaptive control parameters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Robotics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Plasma & Fusion (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Numerical Control (AREA)
  • General Factory Administration (AREA)

Description

本発明は、製造システムに関する。
一般に、機械加工や組み立てを行う工場においては、工作機械、射出成形機、産業用ロボット等の加工機械を組み合わせた加工機械システムにより加工セルが構築され、この加工セルを単位として、ワーク（工作物）の加工や溶接等の作業が行われている。
このような加工機械システムでは、加工されたワークを検査する段階において異常と判断されて加工条件を調整する必要が出てきた場合、該当する加工機械を停止して、加工条件を人手により調整する必要があった。
特許文献１には、加工された製品の加工結果である数値情報と規格情報とのずれ量を求め、このずれ量に基づいて、設備停止することなく、リアルタイムに加工条件を補正可能な製品加工条件設定装置が開示されている。
特開平５−１０４３９５号公報
しかしながら、製品の規格情報、すなわち、設計データは、品質を優先するため、その製品に最終的に要求される性能に対して厳しすぎる場合がある。このような場合、特許文献１のように、製品の規格情報と製品の加工結果とのずれ量に基づいて加工条件を補正して加工精度を高くすることは、製造コストの面において必ずしも最適であるとはいえない。
本発明は、上述した事情に鑑みてなされたものであって、加工された製品の品質を維持しつつ製造コストを最小にすることが可能な製造システムを提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１の参考例は、工作物の加工を行う加工機械と、該加工機械を加工条件に基づいて制御する制御装置と、前記加工中の前記加工機械の状態を取得する状態取得装置と、前記加工後の前記工作物を検査する検査装置と、該検査装置による検査結果及び前記状態取得装置において取得された前記加工機械の状態に基づいて機械学習を行う機械学習装置と、を備え、前記機械学習装置が、前記機械学習の結果に基づいて、前記工作物の加工精度を維持しつつ前記工作物の不良率を低減するように前記加工条件を変更する加工機械システムである。
上記第１の参考例に係る加工機械システムによれば、制御装置によって、工作物の加工を行う加工機械が加工条件に基づいて制御され、状態取得装置によって加工中の加工機械の状態が取得される。一方で、検査装置によって、加工後の工作物が検査される。そして、得られた加工機械の状態及び工作物の検査結果に基づいて、機械学習装置によって機械学習が行われ、工作物の加工精度を維持しつつ工作物の不良率を低減するように加工条件が変更される。
このようにすることで、必要以上に加工精度が高くなることによって製造コストが増大してしまうことを防止することができる。
上記第１の参考例に係る加工機械システムにおいて、前記加工機械、前記制御装置、前記状態取得装置及び前記検査装置の夫々が、前記機械学習装置に通信ネットワークを介して互いに接続されていてもよい。
本発明の第２の参考例は、上述の加工機械システムを複数備え、一の加工機械システムで加工された同一種類の前記工作物を他の加工機械システムで加工する場合に、前記一の加工機械システムにおける前記工作物に対する前記加工条件及び前記検査結果を前記他の加工機械システムにおける前記機械学習用の学習データとして共有する製造システムである。
このようにすることで、学習効率を高めることができる。
本発明の一態様は、工作物の加工を行う加工機械と、該加工機械を加工条件に基づいて制御する制御装置と、前記加工中の前記加工機械の状態を取得する状態取得装置及び前記加工後の前記工作物の加工精度を検査する検査装置と、最終成果物としての前記工作物の性能を評価する評価試験を行う評価試験装置と、該評価試験装置による前記評価試験の結果、前記検査装置による検査結果及び前記状態取得装置において取得された前記加工機械の状態に基づいて機械学習を行う機械学習装置と、を備え、前記機械学習装置が、前記機械学習の結果に基づいて、前記最終成果物のコストが最小となるように、前記加工条件及び前記検査装置における検査条件を変更する製造システムである。
上記態様に係る製造システムによれば、制御装置によって、工作物の加工を行う加工機械が加工条件に基づいて制御され、状態取得装置によって加工中の加工機械の状態が取得される。また、検査装置によって、加工後の工作物が検査される。一方で、評価試験装置によって、最終成果物としての工作物の評価試験が行われる。そして、評価試験装置による評価試験の結果、検査装置による検査結果及び加工機械の状態に基づいて機械学習が行われ、最終成果物のコストが最小となるように加工条件及び検査条件が変更される。
これにより、最終成果物であるワークの性能評価試験の結果に基づいて、最適な加工条件及び最適な検査条件を決定することができるため、最終成果物のコストを最小にすることができる。
上記態様に係る製造システムにおいて、前記加工機械、前記制御装置、前記状態取得装置、前記検査装置及び前記評価試験装置の夫々が、前記機械学習装置に通信ネットワークを介して互いに接続されていてもよい。
本発明によれば、加工された工作物の品質を維持しつつ製造コストを最小にすることができるという効果を奏する。
本発明の第１実施形態に係る加工機械システムの概略構成を示すブロック図である。 図１の加工機械システムに備えられる機械学習装置の概略構成を示すブロック図である。 図２の機械学習装置において実行される処理を示すフローチャートである。 本発明の第２実施形態に係る製造システムの概略構成を示すブロック図である。 図４の製造システムに備えられる機械学習装置の概略構成を示すブロック図である。 図５の機械学習装置において実行される処理を示すフローチャートである。 本発明の第１及び第２実施形態における強化学習の枠組みを説明する図である。
[第１実施形態]
以下、本発明の第１実施形態に係る加工機械システムについて、図面を参照して詳細に説明する。なお、本実施形態では、加工機械として切削機械を例に挙げて説明するが、これに限定されず、射出成形機やアーク溶接ロボット等であってもよい。
図１に示されるように、本実施形態の加工機械システム１は、ワークの加工を行う切削機械（加工機械）２１、切削機械２１を制御する制御装置２３、切削機械２１に取り付けられて切削機械２１の状態を取得するセンサ（状態取得装置）２２及び加工後のワークを検査する検査装置２４を備える加工セル２と、機械学習装置３と、を備えている。加工セル２に備えられる切削機械２１、センサ２２、制御装置２３及び検査装置２４の夫々は、イーサネット（登録商標）やＦＬ−ＮＥＴ等の通信ネットワーク４を介して、機械学習装置３に接続されている。
加工セル２では、機械学習装置３において決定された加工条件に基づいて、制御装置２３が切削機械２１を制御することでワークの加工が行われる。加工中の切削機械２１の状態は、センサ２２によって検出され、状態データとして機械学習装置３に送信される。一方、検査装置２４は、切削機械２１によって加工された加工後のワークの検査を実施する。検査装置２４における検査では、ワークの設計データと加工後のワークとに基づいて加工誤差が算出されるとともに、ワークの不良率の判定が行われ、検査結果データが機械学習装置３に送信される。そして、機械学習装置３において、切削機械２１の状態データと検査装置２４で得られた検査結果データとに基づいて学習が行われる。
本実施形態における機械学習装置３は、強化学習を行うように構成されている。強化学習の枠組みは、エージェント、環境及びこれらの間の相互作用からなる。相互作用を記述するための数理モデルとしてマルコフ決定過程（ＭＤＰ）を採用した場合の強化学習の枠組みを図７に示す。
なお、本実施形態では、数理モデルとしてマルコフ決定過程を採用するが、エージェントが状態を直接的に受け取ることができない部分観測マルコフ過程等が採用されてもよい。
エージェントは、行動を決定する主体であり、本実施形態においては機械学習装置３がこれに相当する。環境は、エージェントが相互作用を行う対象であり、本実施形態においては制御対象となる切削機械２１がこれに相当する。状態とは、切削機械２１の状態を表しており、例えば、主軸の回転速度、送り速度、工具の位置、切削負荷、外乱、ワーク（工作物）の位置等である。行動とは、エージェントである機械学習装置３が制御対象である切削機械２１に対して行う働きかけであり、例えば、主軸の回転角度や送り速度等の加工条件である。報酬は、行動に対しての即時的な良さである。エージェントが行動を決定するためのルールは方策と呼ばれる。
より具体的には、エージェントと環境は以下のステップを実行する。
ステップ１： エージェントが時刻ｔにおいて観測された環境の状態ｓｔに応じて意思決定を行い、行動ａｔを出力する。
ステップ２： 環境がｓｔ＋１に状態遷移し、その遷移に応じた報酬ｒｔをエージェントに与える。
ステップ３： 時刻ｔをｔ＋１に進めてステップ１に戻る。
エージェントの学習目標は、収益を最大化すること、又は、そのための方策を求めることである。収益は、ある期間で得られる累積の報酬のことであり、最も単純な収益は、報酬の総計である。強化学習においては、収益として、割引報酬和がよく用いられる。時刻ｔにおける収益Ｇｔは式（１）で定義される。
Figure 0006756676
 ここで、γは割引率（０≦γ＜１）である。
状態価値関数は、ある状態から方策πに従って行動を決定していったときに得られる収益Ｇｔの期待値であり、Ｖπ（ｓ）で表される。また、行動価値関数は、状態のみならず行動を条件に加えたものであり、Ｑπ（ｓ，ａ）で表される。
遷移可能な２つの状態ｓ、ｓ’において成立する関係として、ベルマン方程式が成立する。ある方策πのもとでの状態価値関数に関するベルマン方程式を式（２）に示す。
Figure 0006756676
ここで、Sは状態集合、Ａ（ｓ）は状態ｓにおける行動集合である。π（ａ｜ｓ）は、状態ｓにおいて行動ａが決定される確率、Ｐ（ｓ’｜ｓ，ａ）は、状態ｓにおいて行動ａが決定された場合に状態ｓ’に遷移する遷移確率、Ｒ（ｓ，ａ，ｓ’）は、状態ｓにおいて行動ａが決定されて状態ｓ’に遷移した際に得られる報酬の期待値である。
ある方策πのもとでの行動価値関数に関するベルマン方程式を式（３）に示す。
Figure 0006756676
式（３）で示される行動価値関数に関するベルマン方程式を試行錯誤による経験で解くためのアルゴリズムの一つとして、例えば、Sarsaが知られている。Sarsaは、式（４）に示されるように、状態ｓｔにおいて行動ａｔを選択した結果として報酬ｒｔ＋１及び次に遷移する状態ｓｔ＋１を観測した場合に、１時間ステップ後に遷移する状態において選択される行動ａｔ＋１によって行動価値Ｑ（ｓｔ，ａｔ）を更新する学習アルゴリズムである。
Figure 0006756676
本実施形態における機械学習装置３は、上述のSarsaのほか、ＴＤ学習、Ｑ学習、ＡＣ（Actor-Critic)法等、周知のアルゴリズムを用いて強化学習を行うことができるように構成されている。
機械学習装置３は、互いにバスを介して接続された、不図示のプロセッサと、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶装置と、ＨＤＤ（Hard Disk Drive）等の補助記憶装置と、外部機器との間で種々のデータのやりとりを行う外部インタフェース等とを備えており、プロセッサが後述する各機能を実現するように構成されている。なお、機械学習装置３は、加工セル２を制御するセルコントローラに備えられていてもよい。
機械学習装置３は、機能的には、図２に示されるように、判定データ取得部３１と、状態観測部３２と、意思決定部３３と、学習部３４と、を備えている。
機械学習装置３において、判定データ取得部３１は、学習部３４に備えられる報酬計算部３４１に接続されている。報酬計算部３４１は、学習部３４に備えられる価値関数更新部３４２に接続されている。状態観測部３２は学習部３４に備えられる価値関数更新部３４２に接続されている。学習部３４に備えられる価値関数更新部３４２は、意思決定部３３に接続されている。
判定データ取得部３１は、検査装置２４（図１参照）において検査された加工後のワークの検査結果データ、すなわち、加工後のワークの加工誤差及びワークの良否判定結果を取得するように構成されている。
状態観測部３２は、切削機械２１に取り付けられたセンサ２２及び又は切削機械２１を制御する制御装置２３から、ワーク加工中の切削機械２１の状態を示す状態データを取得するように構成されている。状態データは、ワーク加工中に所定時間毎に取得され、図示しないメモリに時系列で記憶される。なお、この状態データは、後段の学習部３４で使用するのに適した形式となるように必要に応じて加工されてもよい。
学習部３４に備えられる報酬計算部３４１は、判定データ取得部３１で取得した加工後のワークの加工誤差及びワークの良否判定結果に基づいて報酬を計算するように構成されている。
学習部３４に備えられる価値関数更新部３４２は、報酬計算部３４１で計算された報酬と、状態観測部３２で取得された状態データに基づいて価値関数を逐次更新するように構成されている。
意思決定部３３は、価値関数更新部３４２で更新された価値関数に基づいて、行動、すなわち、新たな加工条件を決定し、決定された加工条件を制御装置２３に送信するように構成されている。
以下、機械学習装置３における処理について、図２及び図３を参照しながらさらに詳細に説明する。
まず、意思決定部３３において、決定された加工条件が制御装置２３に出力される（図３のステップＳＡ１）。学習開始直後の場合には、予め設定された初期値が加工条件として出力される。この初期値は、例えば、事前にバッチ学習を行うことで、価値関数の初期値を設定し、これに基づいて加工条件の初期値が決定されてもよい。
加工セル２において、制御装置２３が、意思決定部３３から出力された加工条件に基づいて切削機械２１を動作させ、ワークを加工させる。ワークを加工中の切削機械２１の状態を示す状態データは、切削機械２１に取り付けられたセンサ２２によって検出され、又は、制御装置２３に保持された内部データから得られる。この状態データは、通信ネットワーク４を介して機械学習装置３に送信され、状態観測部３２によって取得される（図３のステップＳＡ２）。
一方で、加工後のワークは加工セル２における検査装置２４で検査が行われる。検査結果データは、通信ネットワーク４を介して機械学習装置３に送信され、判定データ取得部３１によって取得される（図３のステップＳＡ３）。
続いて、報酬計算部３４１において、報酬の計算が行われる（図３のステップＳＡ４〜ＳＡ９）。
まず、判定データ取得部３１において検査結果データとして得られたワークの加工誤差を、１時間ステップ前に得たワークの加工誤差と比較し、誤差値が小さくなったかどうかを判定する（ステップＳＡ４）。誤差値が小さくなっていた場合には、報酬を増加させ（ステップＳＡ５）、誤差値が前回と等しいか、又は大きくなっていた場合には、報酬を減少させる（ステップＳＡ６）。
次に、判定データ取得部３１において検査結果データとして得られたワークの不良率を、１時間ステップ前に得たワークの不良率と比較し、不良率が小さくなったかどうかを判定する（ステップＳＡ７）。不良率が小さくなっていた場合には、報酬を増加させ（ステップＳＡ８）、不良率が前回と等しいか、又は大きくなっていた場合には、報酬を減少させる（ステップＳＡ９）。
なお、上記判定において、今回の不良率と１時間ステップ前の不良率とを比較する代わりに、今回の検査によって得られたワークの良否判定が判定基準とされてもよい。この場合には、ワークが「良」と判定された際に報酬を増加させ、ワークが「不良」と判定された際に報酬を減少させる。
次に、価値関数更新部３４２において、報酬計算部３４１によって算出された報酬と、状態観測部３２によって取得された状態データとに基づいて、価値関数が更新される（図３のステップＳＡ１０）。
最後に、引き続き学習を継続するか否かが判断され（図３のステップＳＡ１１）、学習を継続する場合には、ステップＳＡ１に戻り、更新された価値関数に基づいて、意思決定部３３において新たな加工条件を出力し、その後、ステップＳＡ２〜ステップＳＡ１１までの処理が繰り返される。学習を継続しない場合には、機械学習部３における処理を終了する。
このように、本実施形態では、報酬計算部３４１において、報酬の増減が、上述の２段階の判定基準により行われる。従って、たとえワークの加工誤差が１時間ステップ前の加工誤差と比較して大きくなり、報酬が減じられたとしても、「不良」と判定されない場合には、報酬を増加させることができる。これにより、必要以上に加工精度を高くすることによって製造コストが増大してしまうことを防止することができる。
なお、上述の加工機械システム１とは異なる別の加工機械システムにおいて同一種類のワークを加工する場合に、加工機械システム１における加工条件及び検査結果を、前記別の加工機械システムにおける機械学習用の学習データとして共有すると好適である。又は、上述の加工機械システム１と前記別の加工機械システムとにおいて、価値関数を共有することで分散学習を行ってもよい。
このようにすることで、学習効率を高めることができる。
[第２実施形態]
以下、本発明の第２実施形態に係る製造システムについて、図面を参照して詳細に説明する。なお、本実施形態では、加工機械として切削機械を例に挙げて説明するが、これに限定されず、射出成形機やアーク溶接ロボット等であってもよい。
図４に示されるように、本実施形態の製造システム１０は、ワークの加工を行う切削機械（加工機械）２１、切削機械２１を制御する制御装置２３、切削機械２１に取り付けられて切削機械２１の状態を取得するセンサ（状態取得装置）２２及び加工後のワークを検査する検査装置２４を備える加工セル２と、評価試験装置５と、機械学習装置１３と、を備えている。加工セル２に備えられる切削機械２１、センサ２２、制御装置２３及び検査装置２４の夫々並びに評価試験装置５は、イーサネット（登録商標）やＦＬ−ＮＥＴ等の通信ネットワーク４を介して、機械学習装置１３に接続されている。
製造システム１０は、複数の加工セル２を備えていてもよい。なお、加工セル２で実施される処理は、上述の第１の実施形態と同様であるため、説明を省略する。
評価試験装置５は、最終成果物としてのワークの性能を評価するように構成されている。すなわち、評価試験装置５は、加工セル２を複数備える場合、全ての加工セル２におけるワークの加工が終了した後で、加工後のワークの性能を評価する。なお、評価試験は、非破壊試験で実施されるのが好ましい。
本実施形態における機械学習装置１３は、第１実施形態の機械学習装置３と同様に、強化学習を行うように構成され、不図示のプロセッサと、主記憶装置と、補助記憶装置と、外部インタフェース等を備えており、プロセッサが後述する各機能を実現するように構成されている。
機械学習装置１３は、機能的には、図５に示されるように、判定データ取得部１３１と、状態観測部１３２と、意思決定部１３３と、学習部３４と、を備えている。
機械学習装置１３において、判定データ取得部１３１は、学習部３４に備えられる報酬計算部３４１に接続されている。報酬計算部３４１は、学習部３４に備えられる価値関数更新部３４２に接続されている。状態観測部１３２は学習部３４に備えられる価値関数更新部３４２に接続されている。学習部３４に備えられる価値関数更新部３４２は、意思決定部１３３に接続されている。
判定データ取得部１３１は、評価試験装置５（図４参照）において評価された加工後のワークの評価試験結果を取得するように構成されている。
状態観測部１３２は、切削機械２１に取り付けられたセンサ２２及び又は切削機械２１を制御する制御装置２３からワーク加工中の切削機械２１の状態を示す状態データを取得するとともに、検査装置２４から検査結果データを取得するように構成されている。状態データは、ワーク加工中に所定時間毎に取得され、図示しないメモリに時系列で記憶される。なお、この状態データは、後段の学習部３４で使用するのに適した形式となるように必要に応じて加工されてもよい。検査結果データには、検査装置２４において良否判定される際に使用された検査条件（閾値）に関する情報も含まれている。
学習部３４に備えられる報酬計算部３４１は、判定データ取得部１３１で取得した評価試験結果に基づいて報酬を計算するように構成されている。
学習部３４に備えられる価値関数更新部３４２は、報酬計算部３４１で計算された報酬と、状態観測部１３２で取得された状態データ及び検査結果データに基づいて価値関数を逐次更新するように構成されている。
意思決定部１３３は、価値関数更新部３４２で更新された価値関数に基づいて、行動、すなわち、新たな加工条件及び新たな検査条件を決定し、決定された加工条件を制御装置２３に送信するとともに、決定された検査条件を検査装置２４に送信するように構成されている。
以下、機械学習装置１３における処理について、図５及び図６を参照しながらさらに詳細に説明する。
まず、意思決定部１３３において、決定された加工条件及び検査条件が制御装置２３に出力される（図６のステップＳＢ１）。学習開始直後の場合には、予め設定された初期値が加工条件及び検査条件としてそれぞれ出力される。
そして、加工セル２において、制御装置２３が、意思決定部１３３から出力された加工条件に基づいて切削機械２１を動作させ、ワークを加工させる。ワークを加工中の切削機械２１の状態を示す状態データは、切削機械２１に取り付けられたセンサ２２によって検出され、又は、制御装置２３に保持された内部データから得られる。この状態データは、通信ネットワーク４を介して機械学習装置１３に送信され、状態観測部１３２によって取得される（図６のステップＳＢ２）。また、加工後のワークは、意思決定部１３３から出力された検査条件に基づいて、検査装置２４で検査が行われる。検査結果データは、通信ネットワーク４を介して機械学習装置１３に送信され、状態観測部１３２によって取得される（図６のステップＳＢ３）。
一方で、全ての加工工程を終えた加工後のワークは、評価試験装置５においてワークの性能評価が行われる。評価試験結果は、通信ネットワーク４を介して機械学習装置１３に送信され、判定データ取得部１３１によって取得される（図６のステップＳＢ４）。
続いて、報酬計算部３４１において、報酬の計算が行われる（図６のステップＳＢ５〜ＳＢ７）。判定データ取得部１３１で得られた評価試験結果を１時間ステップ前に得た評価試験結果と比較し、最終成果物の歩留まりが大きくなったかどうかを判定する（ステップＳＢ５）。最終成果物であるワークの歩留まりが大きくなっていた場合には、報酬を増加させ（ステップＳＢ６）、最終成果物であるワークの歩留まりが前回と等しいか、又は小さくなっていた場合には、報酬を減少させる（ステップＳＢ７）。
なお、上記判定において、今回の歩留まりと１時間ステップ前の歩留まりとを比較する代わりに、今回の評価試験によって得られたワークの良否判定が判定基準とされてもよい。この場合には、最終成果物であるワークが「良」と判定された際に報酬を増加させ、ワークが「不良」と判定された際に報酬を減少させる。
次に、価値関数更新部３４２において、報酬計算部３４１によって算出された報酬と、状態観測部１３２によって取得された状態データ及び検査結果データとに基づいて、価値関数が更新される（図６のステップＳＢ８）。
最後に、引き続き学習を継続するか否かが判断され（図６のステップＳＢ９）、学習を継続する場合には、ステップＳＢ１に戻り、更新された価値関数に基づいて、意思決定部１３３において新たな加工条件及び新たな検査条件を出力し、その後、ステップＳＢ２〜ステップＳＢ９までの処理が繰り返される。学習を継続しない場合には、機械学習部１３における処理を終了する。
このように、本実施形態では、報酬計算部３４１において、報酬が、最終成果物であるワークの評価試験結果に基づいて算出される。また、状態観測部１３２において、切削機械２１の状態データだけでなく、検査装置２４の検査条件も取得される。そして、この報酬、切削機械２１の状態データ及び検査装置２４の検査条件に基づいて価値関数が更新され、新たな加工条件及び新たな検査条件が決定される。
これにより、最終成果物であるワークの性能評価試験の結果に基づいて、最適な加工条件及び最適な検査条件を決定することができるため、最終成果物のコストを最小にすることができる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
１ 加工機械システム
２ 加工セル
３，１３ 機械学習装置
４ 通信ネットワーク
５ 評価試験装置
１０ 製造システム
２１ 切削機械（加工機械）
２２ センサ（状態取得装置）
２３ 制御装置
２４ 検査装置

Claims (2)

  1. 工作物の加工を行う加工機械と、
    該加工機械を加工条件に基づいて制御する制御装置と、
    前記加工中の前記加工機械の状態を取得する状態取得装置及び前記加工後の前記工作物の加工精度を検査する検査装置と、
    最終成果物としての前記工作物の性能を評価する評価試験を行う評価試験装置と、
    該評価試験装置による前記評価試験の結果、前記検査装置による検査結果及び前記状態取得装置において取得された前記加工機械の状態に基づいて機械学習を行う機械学習装置と、
    を備え、
    前記機械学習装置が、前記機械学習の結果に基づいて、前記最終成果物のコストが最小となるように、前記加工条件及び前記検査装置における検査条件を変更する製造システム。
  2. 前記加工機械、前記制御装置、前記状態取得装置、前記検査装置及び前記評価試験装置の夫々が、前記機械学習装置に通信ネットワークを介して互いに接続される請求項１に記載の製造システム。
JP2017145401A 2017-07-27 2017-07-27 製造システム Active JP6756676B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017145401A JP6756676B2 (ja) 2017-07-27 2017-07-27 製造システム
US16/035,973 US10935967B2 (en) 2017-07-27 2018-07-16 Machining equipment system and manufacturing system
CN201810785054.1A CN109308048B (zh) 2017-07-27 2018-07-17 加工机械系统以及制造系统
DE102018117423.3A DE102018117423A1 (de) 2017-07-27 2018-07-18 Bearbeitungsmaschinensystem und fertigungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017145401A JP6756676B2 (ja) 2017-07-27 2017-07-27 製造システム

Publications (2)

Publication Number Publication Date
JP2019025561A JP2019025561A (ja) 2019-02-21
JP6756676B2 true JP6756676B2 (ja) 2020-09-16

Family

ID=65004337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017145401A Active JP6756676B2 (ja) 2017-07-27 2017-07-27 製造システム

Country Status (4)

Country Link
US (1) US10935967B2 (ja)
JP (1) JP6756676B2 (ja)
CN (1) CN109308048B (ja)
DE (1) DE102018117423A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6728495B2 (ja) * 2016-11-04 2020-07-22 ディープマインド テクノロジーズ リミテッド 強化学習を用いた環境予測
US11065707B2 (en) * 2017-11-29 2021-07-20 Lincoln Global, Inc. Systems and methods supporting predictive and preventative maintenance
JP6949896B2 (ja) * 2019-03-27 2021-10-13 ファナック株式会社 砥石選定装置及び砥石選定方法
JP6856162B2 (ja) * 2019-09-24 2021-04-07 ダイキン工業株式会社 制御システム
US11609546B2 (en) * 2019-11-06 2023-03-21 Hexagon Technology Center Gmbh Systems and methods for virtual environment for reinforcement learning in manufacturing
JP7464383B2 (ja) 2019-12-10 2024-04-09 ファナック株式会社 ワークモデルの修正量を学習する機械学習装置、制御装置、加工システム、及び機械学習方法
EP3923094A1 (en) * 2020-06-09 2021-12-15 Siemens Aktiengesellschaft Inspection rate adaptation
CN112589286B (zh) * 2020-12-21 2022-05-27 天津长荣科技集团股份有限公司 一种快速添加激光模板的方法及装置
JP7491274B2 (ja) * 2021-07-29 2024-05-28 トヨタ自動車株式会社 検査装置および検査方法
JP7438316B1 (ja) 2022-11-30 2024-02-26 マキノジェイ株式会社 工作機械

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920002268A (ko) 1990-07-17 1992-02-28 유끼노리 가까즈 인텔리젠트가공장치
JP2961622B2 (ja) 1990-09-29 1999-10-12 豊田工機株式会社 インテリジェント加工システム
JPH04354653A (ja) 1991-05-31 1992-12-09 Mitsubishi Electric Corp 加工条件生成装置
JPH05104395A (ja) 1991-10-17 1993-04-27 Hokuriku Nippon Denki Software Kk 学習制御機能を有する製品加工条件設定装置
US6108887A (en) * 1995-03-23 2000-08-29 Lucent Technologies, Inc. Method for analyzing and modifying a sequence of manufacturing operations
DE10152765B4 (de) * 2001-07-13 2015-11-12 Siemens Aktiengesellschaft Verfahren zur elektronischen Bereitstellung von Diensten für Maschinen über eine Datenkommunikationsverbindung
JP2004160564A (ja) 2002-11-11 2004-06-10 Mori Seiki Co Ltd 工作機械
US7706595B2 (en) * 2003-11-07 2010-04-27 Cyberoptics Corporation Pick and place machine with workpiece motion inspection
JP2006068901A (ja) 2005-11-16 2006-03-16 Makino Milling Mach Co Ltd 工作機械の制御装置
US7424338B1 (en) * 2007-04-02 2008-09-09 Honda Motor Co., Ltd. Broken tool detection system
CN101738981B (zh) * 2009-12-04 2011-06-15 清华大学 基于机器学习的机器人磨削方法
WO2013037693A2 (de) * 2011-09-15 2013-03-21 Convergent Information Technologies Gmbh System und verfahren zur automatisierten erstellung von roboterprogrammen
US8995749B2 (en) * 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
JP2016071407A (ja) 2014-09-26 2016-05-09 ファナック株式会社 ホストコンピュータ上の制御用ソフトウェアを使用した数値制御装置
JP2017030067A (ja) * 2015-07-30 2017-02-09 ファナック株式会社 加工時間測定機能とオンマシン測定機能を有する制御装置付き加工装置
JP5997330B1 (ja) * 2015-07-31 2016-09-28 ファナック株式会社 主軸交換の要否を判定できる機械学習装置、主軸交換判定装置、制御装置、工作機械及び生産システム、並びに機械学習方法
JP6063013B1 (ja) 2015-08-27 2017-01-18 ファナック株式会社 びびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置
JP6625914B2 (ja) * 2016-03-17 2019-12-25 ファナック株式会社 機械学習装置、レーザ加工システムおよび機械学習方法
JP6348137B2 (ja) 2016-03-24 2018-06-27 ファナック株式会社 工作物の良否を判定する加工機械システム
EP3440543A4 (en) * 2016-04-05 2019-08-28 Deakin University SYSTEMS AND METHOD FOR MANUFACTURING A PRODUCT
JP6140331B1 (ja) 2016-04-08 2017-05-31 ファナック株式会社 主軸または主軸を駆動するモータの故障予知を学習する機械学習装置および機械学習方法、並びに、機械学習装置を備えた故障予知装置および故障予知システム
JP6517762B2 (ja) * 2016-08-23 2019-05-22 ファナック株式会社 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム
JP6557198B2 (ja) 2016-09-06 2019-08-07 ファナック株式会社 数値制御装置
EP3612984A4 (en) * 2017-04-18 2021-03-24 D5A1 Llc MULTI-STAGE MACHINE LEARNING AND RECOGNITION
JP6530779B2 (ja) * 2017-04-20 2019-06-12 ファナック株式会社 加工不良要因推定装置
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
JP6592039B2 (ja) * 2017-07-04 2019-10-16 ファナック株式会社 熱変位補正装置

Also Published As

Publication number Publication date
US10935967B2 (en) 2021-03-02
JP2019025561A (ja) 2019-02-21
CN109308048A (zh) 2019-02-05
DE102018117423A1 (de) 2019-01-31
CN109308048B (zh) 2023-04-25
US20190033839A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6756676B2 (ja) 製造システム
JP5969676B1 (ja) 工作機械の工具補正の頻度を最適化する機械学習装置及び機械学習方法、並びに該機械学習装置を備えた工作機械
JP6680756B2 (ja) 制御装置及び機械学習装置
US9964931B2 (en) Numerical controller with machining condition adjustment function which reduces chatter or tool wear/breakage occurrence
JP6470251B2 (ja) 数値制御装置及び機械学習装置
US20180354125A1 (en) Controller and machine learning device
JP6557285B2 (ja) 制御装置及び機械学習装置
US11048215B2 (en) Tool selecting apparatus and machine learning device
JP6499710B2 (ja) 加減速制御装置
JP2017030067A (ja) 加工時間測定機能とオンマシン測定機能を有する制御装置付き加工装置
KR102224970B1 (ko) 제어 장치 및 기계 학습 장치
JP6923484B2 (ja) 加工条件調整装置及び機械学習装置
JP6781242B2 (ja) 制御装置、機械学習装置及びシステム
KR20180014364A (ko) Cnc 공구 마모 보정 장치 및 방법
CN110355462B (zh) 加工条件调整装置以及机器学习装置
CN114424129A (zh) 控制系统
JP2019136818A (ja) 制御装置及び機械学習装置
US12181853B2 (en) Stability boundary and optimal stable parameter identification in machining
US20230376002A1 (en) Machine learning device, cleaning prediction device, and cleaning system
KR101896291B1 (ko) 공작 기계의 가공경로 보정방법
CN110893515A (zh) 加工条件调整装置以及机器学习装置
WO2022224450A1 (ja) 機械学習装置、加減速調整装置及びコンピュータ読み取り可能な記憶媒体
WO2025132179A1 (en) Method and manufacturing installation for producing a plurality of workpieces

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180918

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181211

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200827

R150 Certificate of patent or registration of utility model

Ref document number: 6756676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150