JP7535484B2

JP7535484B2 - 異常検知装置および異常検知方法

Info

Publication number: JP7535484B2
Application number: JP2021142617A
Authority: JP
Inventors: 裕喜竹内
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2021-09-01
Filing date: 2021-09-01
Publication date: 2024-08-16
Anticipated expiration: 2041-09-01
Also published as: JP2023035618A

Description

特許法第３０条第２項適用掲載年月日令和３年８月２０日掲載アドレスｈｔｔｐ：／／ｇｉｊｕｔｓｕ１２／Ｇｉｋｅｎ／ｉｎｄｅｘ．ｈｔｍｌ

本発明は、異常検知装置および異常検知方法に関する。

従来の自動搬送の製造ラインにおいては、要所に撮像装置を設置し、部品に対して目視確認またはルールベースに基づく撮像画像に対する画像判定を行っている。このような製造ラインにおける撮像装置の撮像画像に対する画像判定についての技術として、対象物の表面の画像を取得する取得部と、取得部で取得された対象物の表面の画像から得られる、対象物の表面において鏡面反射成分と拡散反射成分の比率が互いに異なる複数の反射状態に基づいて、対象物の表面の色を判定する処理である色判定処理を行う判定部と、を備えた検査システムが開示されている（例えば特許文献１参照）。

国際公開第２０１９／１１２０４０号

しかしながら、従来の製造ラインにおける技術では、自動車部品のように凹凸等の特徴的な曲線部分が多く存在する部品に対して、単純な色判定処理等に基づく画像処理では、形状の異常を検知することが困難であるという課題がある。

本発明は、上述の課題に鑑みてなされたものであって、対象物について精度よく形状の異常を検知することができる異常検知装置および異常検知方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る異常検知装置は、撮像装置により撮像された、搬送経路上で搬送される部品における所定の対象物に対する撮像画像を取得する取得部と、前記取得部により取得された前記撮像画像から前記対象物の画像部分を抽出画像として抽出する抽出部と、設定に応じて、または、前記抽出画像のデータサイズもしくは形状に応じて、該抽出画像を複数の画像に分割するか否かを切り替えて実行する分割部と、前記分割部により分割された場合には前記複数の画像を入力として、該分割部により分割されない場合には前記抽出画像を入力として、所定の学習モデルを用いた異常判定処理により、異常の有無を示す判定結果、および前記判定結果の信頼性の程度を示す信頼度を出力として得る判定部と、前記取得部により取得された前記撮像画像に対して、異常を示す前記判定結果および該判定結果の前記信頼度を重畳して表示装置に表示させる表示制御部と、を備えることを特徴とする。

本発明によれば、対象物について精度よく形状の異常を検知することができる。

図１は、実施形態に係る異常検知システムの全体構成の一例を示す図である。図２は、実施形態に係る異常検知装置のハードウェア構成の一例を示す図である。図３は、実施形態に係る異常検知装置の機能的なブロック構成の一例を示す図である。図４は、撮像されたルーフ部材の撮像画像およびフランジ部を含む抽出画像の一例を示す図である。図５は、フランジ部の正常画像の一例を示す図である。図６は、フランジ部の異常画像の一例を示す図である。図７は、フランジ部の抽出画像を分割した状態を説明する図である。図８は、撮像画像のフランジ部の形状についての判定結果を重畳表示した状態の一例を示す図である。図９は、実施形態に係る異常検知システムの異常検知処理の流れの一例を示すフローチャートである。

以下に、図１～図９を参照しながら、本発明に係る異常検知装置および異常検知方法の実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（異常検知システムの全体構成）
図１は、実施形態に係る異常検知システムの全体構成の一例を示す図である。図１を参照しながら、本実施形態に係る異常検知システム１の全体構成について説明する。

図１に示す異常検知システム１は、搬送ライン３（搬送経路）において、撮像装置により撮像された画像が示す部品における所定の対象物の形状の異常を検知するためのシステムである。図１に示すように、異常検知システム１は、ＰＬＣ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＣｏｎｔｒｏｌｌｅｒ）１１と、撮像装置１２と、異常検知装置１０と、表示装置１３と、サーバ装置２０と、を含む。

ＰＬＣ１１は、搬送ライン３における車体等の部品３０の設置動作、組付け動作および搬送動作等を制御する産業用制御装置である。ＰＬＣ１１は、部品３０が搬送ライン３上において、撮像装置１２による撮像に適した所定位置に搬送されたタイミングで、当該所定位置に搬送されたことを示す搬送信号を、異常検知装置１０へ送信する。ＰＬＣ１１からの搬送信号は、直接、またはリレー部品等を介して異常検知装置１０へ送信されるものとすればよい。例えば、ＰＬＣ１１は、撮像装置１２による撮像に適した所定位置に多関節ロボット等の制御により部品３０を設置したタイミング、または、リミッタスイッチ、近接センサもしくは光電センサ等により当該所定位置に部品３０が搬送されたことを検知されたタイミングで、搬送信号を異常検知装置１０へ送信する。なお、異常検知装置１０は、搬送ライン３に設置されたリミッタスイッチ、近接センサもしくは光電センサ等から、所定位置に部品３０が搬送されたことを示す搬送信号を受信するものとしてもよい。

撮像装置１２は、部品３０における所定の対象物であるルーフ部材のフランジ部を含む領域を撮像する撮像装置である。撮像装置１２は、撮像した撮像画像を異常検知装置１０へ送信する。本実施形態では、部品３０は、自動車の車体であるものとし、所定の対象物は、車体のルーフ部材のフランジ部であるものとして説明する。なお、部品３０および所定の対象物は、これらに限定されるものではない。

なお、撮像装置１２による撮像画像は、静止画データであってもよく、動画データであってもよい。

異常検知装置１０は、撮像装置１２で撮像された撮像画像に含まれる部品３０のルーフ部材のフランジ部について、形状の異常を検知するための装置である。異常検知装置１０は、例えば、シングルボードコンピュータによって実現される。なお、異常検知装置１０はシングルボードコンピュータであることに限定されず、通常のＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）またはワークステーション等の情報処理装置であってもよい。異常検知装置１０は、画像処理プログラム１０１と、前処理プログラム１０２と、異常判定プログラム１０３と、を含む。

画像処理プログラム１０１は、撮像装置１２により撮像された撮像画像から、ルーフ部材のフランジ部の画像を抽出する等の画像処理を行うプログラムである。なお、画像処理プログラム１０１における抽出方法は、撮像画像の所定の領域の切り出し処理、テンプレートマッチング等による所定のアルゴリズムに基づく抽出処理、または、教師あり学習等により生成した所定の学習モデルを用いるＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）等を用いた既存の抽出処理のいずれに基づく方法であってもよい。

前処理プログラム１０２は、画像処理プログラム１０１により抽出された抽出画像に対して、後段の異常判定プログラム１０３による異常判定のための所定の前処理を実行するためのプログラムである。前処理プログラム１０２は、所定の前処理として、具体的には、異常判定プログラム１０３による異常判定処理の負荷を軽減するために、抽出画像を複数の画像に分割する。

異常判定プログラム１０３は、前処理プログラム１０２により分割された各分割画像について、所定の学習モデル１０４を用いて異常判定処理を実行するためのプログラムである。具体的には、異常判定プログラム１０３は、各分割画像を入力として、学習モデル１０４による判別処理により、正常か異常かの判定結果の出力を得る。学習モデル１０４は、ルーフ部材のフランジ部の画像に、ラベルとしての正常または異常の情報を組み合わせた教師データを用いて、例えば機械学習の教師あり学習の一例であるＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ：畳み込みニューラルネットワーク）等により生成される学習モデルである。また、ＣＮＮの場合、前処理プログラム１０２により抽出画像から分割される分割画像は、垂直および水平のピクセル数が同一の画像（正方形の画像）に分割する必要がある。ただし、抽出画像から直接、正方形の画像に分割する必要は必ずしもなく、学習モデル１０４による異常判定の精度が確保できる範囲で、分割後の画像を正方形となるように画像サイズを変更するものとしてもよい。なお、学習モデル１０４を生成する学習アルゴリズムは、ＣＮＮに限定されるものではなく、その他の学習アルゴリズムによって生成されるものとしてもよい。また、本実施形態では、フランジ部の画像から、学習モデル１０４を用いた異常判定処理の結果として、当該フランジ部の形状が正常か異常かの判定結果、および当該判定結果の信頼性の程度を示す信頼度が得られるものとして説明する。

表示装置１３は、異常判定プログラム１０３による判定結果等を表示する、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶ディスプレイ）またはＯＥＬＤ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ－ＬｕｍｉｎｅｓｃｅｎｔＤｉｓｐｌａｙ：有機ＥＬディスプレイ）等の表示装置である。

サーバ装置２０は、異常判定プログラム１０３による判定結果等を蓄積するサーバ装置である。

（異常検知装置のハードウェア構成）
図２は、実施形態に係る異常検知装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施形態に係る異常検知装置１０のハードウェア構成について説明する。

図２に示すように、異常検知装置１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０３と、補助記憶装置２０４と、ネットワークＩ／Ｆ２０５と、入出力Ｉ／Ｆ２０６と、表示出力Ｉ／Ｆ２０７と、撮像Ｉ／Ｆ２０８と、を備えている。これらの各部は、バスライン２１０を介して互いにデータ通信が可能となるように接続されている。

ＣＰＵ２０１は、異常検知装置１０全体の動作を制御する演算装置である。ＲＡＭ２０２は、ＣＰＵ２０１のワークエリアとして使用される揮発性記憶装置である。ＲＯＭ２０３は、ＩＰＬ（ＩｎｉｔｉａｌＰｒｏｇｒａｍＬｏａｄｅｒ）のようなＣＰＵ２０１が最初に実行するプログラム等を記憶する不揮発性記憶装置である。なお、ＣＰＵ２０１、ＲＡＭ２０２およびＲＯＭ２０３は、例えば１つの基板に実装されたＳｏＣ（ＳｙｓｔｅｍｏｎａＣｈｉｐ）として構成されていてもよい。

補助記憶装置２０４は、上述した画像処理プログラム１０１、前処理プログラム１０２、異常判定プログラム１０３および学習モデル１０４、ならびにこれらのプログラムで用いられる各種データ等を記憶するＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、ｅＭＭＣ（ｅｍｂｅｄｄｅｄＭｕｌｔｉＭｅｄｉａＣａｒｄ）またはｍｉｃｒｏＳＤカード等の補助記憶装置である。

ネットワークＩ／Ｆ２０５は、ネットワーク等に接続してデータ通信するためのインターフェースである。図２に示す例では、ネットワークＩ／Ｆ２０５は、サーバ装置２０に接続されており、異常検知装置１０における上述の判定結果等をサーバ装置２０へ送信する。また、ネットワークＩ／Ｆ２０５は、例えば、ＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）／ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）のプロトコルで通信可能にするＥｔｈｅｒｎｅｔ（登録商標）規格のインターフェースである。なお、ネットワークＩ／Ｆ２０５は、有線通信に限定されるものではなく、Ｗｉ－Ｆｉ（登録商標）等に基づく無線通信のインターフェースであってもよい。

入出力Ｉ／Ｆ２０６は、ＰＬＣ１１と通信をするためのＧＰＩＯ（ＧｅｎｅｒａｌＰｕｒｐｏｓｅＩｎｐｕｔ／Ｏｕｔｐｕｔ）等のインターフェースである。入出力Ｉ／Ｆ２０６は、例えば、ＰＬＣ１１から上述の搬送信号を受信し、異常判定プログラム１０３による判定結果を示す信号（正常または異常を示す信号）をＰＬＣ１１へ送信する。

表示出力Ｉ／Ｆ２０７は、異常判定プログラム１０３による判定結果等の表示データを表示装置１３へ送信するためのＨＤＭＩ（登録商標）（Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）等のインターフェースである。

撮像Ｉ／Ｆ２０８は、撮像装置１２から撮像画像を受信するためのＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）等のインターフェースである。

なお、図１に示す異常検知装置１０のハードウェア構成は一例を示すものであり、当該構成に限定されるものではない。例えば、グラフィック処理に特化したＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等を備えているものとしてもよい。

（異常検知装置の機能的なブロック構成）
図３は、実施形態に係る異常検知装置の機能的なブロック構成の一例を示す図である。図４は、撮像されたルーフ部材の撮像画像およびフランジ部を含む抽出画像の一例を示す図である。図５は、フランジ部の正常画像の一例を示す図である。図６は、フランジ部の異常画像の一例を示す図である。図７は、フランジ部の抽出画像を分割した状態を説明する図である。図８は、撮像画像のフランジ部の形状についての判定結果を重畳表示した状態の一例を示す図である。図３～図８を参照しながら、本実施形態に係る異常検知装置１０の機能的なブロック構成および動作について説明する。

図３に示すように、異常検知装置１０は、取得部３０１と、工程通信部３０２と、抽出部３０３と、前処理部３０４（分割部）と、異常判定部３０５（判定部）と、表示制御部３０６と、生成部３０７と、記憶部３０８と、を有する。

取得部３０１は、撮像装置１２により撮像された、車体である部品３０のルーフ部材のフランジ部を含む撮像画像を、撮像Ｉ／Ｆ２０８を介して取得する機能部である。ここで、図４（ａ）に、撮像画像の一例として、撮像装置１２により撮像された、部品３０のルーフ部材３１のフランジ部３１ａを含む撮像画像ＩＭＧ１を示している。また、取得部３０１は、後述する工程通信部３０２から部品３０についての上述の搬送信号を受信した旨を受け取った場合、撮像装置１２により撮像された撮像画像の取得を開始する。なお、工程通信部３０２により搬送信号を受信したタイミングで、撮像装置１２による撮像動作の開始、かつ取得部３０１による撮像画像の取得動作の開始が行われるものとしてもよい。取得部３０１は、取得した撮像画像を、抽出部３０３へ出力する。取得部３０１は、例えば、図２に示すＣＰＵ２０１により画像処理プログラム１０１が実行されることによって実現される。

工程通信部３０２は、入出力Ｉ／Ｆ２０６を介して通信を行う機能部である。例えば、工程通信部３０２は、部品３０が搬送ライン３上において、撮像装置１２による撮像に適した所定位置に搬送されたタイミングでＰＬＣ１１から搬送信号を受信し、当該搬送信号を受信した旨を、取得部３０１へ出力する。また、工程通信部３０２は、異常判定部３０５による判定結果を示す信号（正常または異常を示す信号）をＰＬＣ１１へ送信する。工程通信部３０２は、例えば、図２に示すＣＰＵ２０１により所定のプログラムが実行されることによって実現される。

抽出部３０３は、取得部３０１により取得された撮像画像から、所定の対象物の画像部分を抽出する機能部である。具体的には、抽出部３０３は、取得部３０１により取得された撮像画像から、部品３０のルーフ部材のフランジ部の画像を抽出する。例えば、図４（ｂ）では、抽出部３０３は、取得部３０１から受け取った撮像画像である図４（ａ）に示す撮像画像ＩＭＧ１から、部品３０のルーフ部材３１のフランジ部３１ａを含む画像として抽出画像ＥＩＭＧ１を抽出した例を示している。また、図５に示す抽出画像ＥＩＭＧ１は、抽出部３０３により撮像画像から抽出された、形状が正常なフランジ部３１ａを含む抽出画像の一例を示す。一方、図６に示す抽出画像ＥＩＭＧ２は、抽出部３０３により撮像画像から抽出された、異常な形状部分を有するフランジ部３１ａを含む抽出画像の一例を示す。図６では、抽出画像ＥＩＭＧ２に示すフランジ部３１ａに、異常な形状部分として、３か所の異常部分３１ｂを含む例を示している。

抽出部３０３による抽出方法は、撮像画像の所定の領域の切り出し処理、テンプレートマッチング等による所定のアルゴリズムに基づく抽出処理、または、教師あり学習等により生成した所定の学習モデルを用いるＹＯＬＯ等を用いた既存の抽出処理のいずれに基づく方法であってもよい。抽出部３０３は、抽出したフランジ部３１ａの抽出画像、前処理部３０４へ出力する。抽出部３０３は、例えば、図２に示すＣＰＵ２０１により画像処理プログラム１０１が実行されることによって実現される。

前処理部３０４は、抽出部３０３により抽出されたフランジ部３１ａの抽出画像に対して、後段の異常判定部３０５による異常判定処理のための所定の前処理を実行する機能部である。前処理部３０４は、所定の前処理として、具体的には、異常判定部３０５による異常判定処理の負荷を軽減するために、抽出画像を複数の画像に分割する。図７に示す例では、前処理部３０４は、例えば、抽出部３０３より抽出された抽出画像ＥＩＭＧ１について、５つの分割画像ＳＩＭＧに分割している。なお、異常判定部３０５が用いる学習モデル１０４がＣＮＮに基づくものである場合、上述のように、抽出画像から分割される分割画像は、垂直および水平のピクセル数が同一の画像（正方形の画像）に分割する必要がある。ただし、抽出画像から直接、正方形の画像に分割する必要は必ずしもなく、学習モデル１０４による異常判定の精度が確保できる範囲で、分割後の画像を正方形となるように画像サイズを変更するものとしてもよい。前処理部３０４は、分割した複数の分割画像を、異常判定部３０５へ出力する。

抽出部３０３により抽出された抽出画像が高解像度のデータサイズが大きな画像である場合、異常判定部３０５による異常判定処理に大きな負荷がかかるところ、上述のように、前処理部３０４により抽出画像を複数の分割画像に分割することによって、当該異常判定処理の負荷を低減することができる。また、異常判定部３０５による異常判定処理の負荷を低減するために、抽出画像を縮小してデータサイズを小さくすることも考えられるが、抽出画像に含まれるフランジ部３１ａの形状の解像度が下がり、当該異常判定処理の精度が低下するため、好ましくない。なお、図７の例では、所定の対象物として横長のフランジ部３１ａであるために、水平方向に分割しているが、これに限定されるものではなく、抽出画像に含まれる所定の対象物の形状および大きさに応じて、垂直方向、または水平方向および垂直方向に分割するものとしてもよい。また、前処理部３０４により抽出画像を必ず分割しなければならないわけではなく、抽出画像のデータサイズおよび形状によっては、異常判定部３０５により抽出画像に対して直接、異常判定処理が実行されるものとしてもよい。この場合、前処理部３０４により抽出画像を分割するか否かは、設定に切り替えられるものとしてもよく、または、抽出画像のデータサイズまたは形状に応じて自動で切り替えらえるものとしてもよい。

前処理部３０４は、例えば、図２に示すＣＰＵ２０１により前処理プログラム１０２が実行されることによって実現される。

異常判定部３０５は、前処理部３０４により分割された各分割画像について、記憶部３０８に記憶された学習モデル１０４を用いて異常判定処理を実行する機能部である。具体的には、異常判定部３０５は、各分割画像を入力として、学習モデル１０４による判別処理により、正常か異常かの判定結果（異常の有無を示す判定結果）の出力を行う。この場合、異常判定部３０５は、分割画像ごとに異常判定処理を行うため、いずれの分割画像に異常があるかを区別して出力することが可能である。また、異常判定部３０５は、分割画像ごとに、フランジ部３１ａの形状が正常か異常かの判定結果、および当該判定結果の信頼性の程度を示す信頼度を出力する。異常判定部３０５は、分割画像ごとの判定結果および信頼度を表示制御部３０６およびサーバ装置２０へ出力し、分割画像ごとの判定結果を工程通信部３０２へ出力する。そして、工程通信部３０２は、分割画像ごとの判定結果を、ＰＬＣ１１へ送信し、ＰＬＣ１１は、いずれかの分割画像の判定結果に異常を示すものがある場合には、搬送ライン３に対する所定の処理（ライン停止等）を実行する。異常判定部３０５は、例えば、図２に示すＣＰＵ２０１により異常判定プログラム１０３が実行されることによって実現される。

なお、異常判定部３０５による異常判定処理は、学習モデル１０４を用いた判別処理を利用するものとしているが、これに限定されるものではなく、テンプレートマッチング等の学習モデルを用いない所定のアルゴリズムに基づく異常判定処理を実行するものとしてもよい。この場合においても、前処理部３０４により抽出画像を複数の分割画像に分割することによって、当該異常判定処理の負荷を低減することができる。

表示制御部３０６は、異常判定部３０５から受け取った判定結果を表示装置１３に表示させる機能部である。例えば、表示制御部３０６は、取得部３０１により取得された撮像画像に対して、当該判定結果を重畳して表示する。なお、当該撮像画像に対して、当該判定結果に加えて、当該判定結果の信頼度を重畳させて表示するものとしてもよい。図８に示す例では、表示制御部３０６は、取得部３０１により取得された撮像画像ＩＭＧ２において、異常判定部３０５による異常判定処理で判別されたフランジ部３１ａにおける異常部分に対して、異常を示す判定結果としての「ａｎｏｍａｌｙ」、および当該異常判定処理の信頼度を含む重畳表示部ＳＰＮａ、ＳＰＮｂをそれぞれ重畳させて表示している。なお、表示制御部３０６は、例えば、信頼度の数値に応じて、重畳表示部の表示色等の態様を異なるように表示させてもよい。

このように、判定結果を表示装置１３に表示させることによって、搬送ライン３の作業者は、判定結果を視覚的に認識することができる。また、撮像画像のフランジ部３１ａの異常部分に、判定結果を重畳させて表示することによって、作業者は、学習モデル１０４により判別された、フランジ部３１ａにおける形状の異常部分を容易に確認することができる。また、撮像画像のフランジ部３１ａの異常部分に、学習モデル１０４を用いた識別処理の信頼度を重畳させて表示することによって、学習モデル１０４に基づく異常判定処理の信頼性を確認することができる。

表示制御部３０６は、例えば、図２に示すＣＰＵ２０１により異常判定プログラム１０３等のプログラムが実行されることによって実現される。

生成部３０７は、ルーフ部材のフランジ部の画像に、ラベルとしての正常または異常の情報を組み合わせた教師データを用いて、例えば機械学習の教師あり学習の一例であるＣＮＮ等により学習モデル１０４を予め生成する機能部である。生成部３０７は、生成した学習モデル１０４を記憶部３０８に記憶させる。生成部３０７は、例えば、図２に示すＣＰＵ２０１により、上述の教師あり学習を実現する学習プログラムが実行されることによって実現される。

記憶部３０８は、画像処理プログラム１０１、前処理プログラム１０２、異常判定プログラム１０３および学習モデル１０４、ならびにこれらのプログラムで用いられる各種データ等を記憶する機能部である。なお、上述の図１で示したように、画像処理プログラム１０１、前処理プログラム１０２、学習モデル１０４を用いる異常判定プログラム１０３は、別々のプログラムとしているが、これに限定されるものではなく、例えば、１つのプログラムとして構成されているものとしてもよい。記憶部３０８は、図２に示す補助記憶装置２０４によって実現される。

なお、図３に示した異常検知装置１０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（異常検知システムの異常検知処理の流れ）
図９は、実施形態に係る異常検知システムの異常検知処理の流れの一例を示すフローチャートである。図９を参照しながら、本実施形態に係る異常検知システム１の異常検知処理の流れについて説明する。

＜ステップＳ１１＞
まず、部品３０が搬送ライン３上において、撮像装置１２による撮像に適した所定位置に搬送されたタイミングで、ＰＬＣ１１から当該所定位置に搬送されたことを示す搬送信号が、工程通信部３０２により受信された場合（ステップＳ１１：Ｙｅｓ）、異常検知装置１０は待機モードから通常の動作モードに復帰し、工程通信部３０２は、当該搬送信号を受信した旨を、取得部３０１へ出力し、ステップＳ１２へ移行する。部品３０が所定位置に搬送されていない場合（ステップＳ１１：Ｎｏ）、当該所定位置に搬送されるまで待機する。ここで、待機モードとは、例えば省電力状態の動作モードである。

＜ステップＳ１２＞
取得部３０１は、工程通信部３０２から搬送信号を受信した旨を受け取った場合、撮像装置１２により撮像された撮像画像の取得を開始し、取得した撮像画像を、抽出部３０３へ出力する。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
抽出部３０３は、取得部３０１により取得された撮像画像から、所定の対象物としての部品３０のルーフ部材３１のフランジ部３１ａの画像部分を抽出する。抽出部３０３は、抽出したフランジ部３１ａの抽出画像、前処理部３０４へ出力する。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
前処理部３０４は、後段の異常判定部３０５による異常判定処理のための前処理として、抽出部３０３により抽出されたフランジ部３１ａの抽出画像を複数の画像に分割する。前処理部３０４は、分割した複数の分割画像を、異常判定部３０５へ出力する。そして、ステップＳ１５へ移行する。

＜ステップＳ１５＞
異常判定部３０５は、前処理部３０４により分割された各分割画像について、記憶部３０８に記憶された学習モデル１０４を用いて異常判定処理を実行する。具体的には、異常判定部３０５は、各分割画像を入力として、学習モデル１０４による判別処理により、正常か異常かの判定結果の出力を行う。また、異常判定部３０５は、分割画像ごとに、フランジ部３１ａの形状が正常か異常かの判定結果、および当該判定結果の信頼性の程度を示す信頼度を出力する。異常判定部３０５は、分割画像ごとの判定結果および信頼度を表示制御部３０６およびサーバ装置２０へ出力し、分割画像ごとの判定結果を工程通信部３０２へ出力する。そして、ステップＳ１６へ移行する。

＜ステップＳ１６＞
表示制御部３０６は、取得部３０１により取得された撮像画像に対して、当該判定結果を重畳して表示する。そして、ステップＳ１７へ移行する。

＜ステップＳ１７＞
工程通信部３０２は、分割画像ごとの判定結果を、ＰＬＣ１１へ送信する。ＰＬＣ１１は、いずれかの分割画像の判定結果に異常を示すものがある場合には、搬送ライン３に対する所定の処理（ライン停止等）を実行する。そして、異常検知装置１０は待機モードへ移行する。そして、異常検知処理を終了する。

以上のように、本実施形態に係る異常検知装置１０では、取得部３０１が、撮像装置１２により撮像された、搬送ライン３上で搬送される部品３０におけるルーフ部材３１のフランジ部３１ａに対する撮像画像を取得し、前処理部３０４が、取得部３０１により取得された撮像画像におけるフランジ部３１ａの画像部分を、複数の画像に分割し、異常判定部３０５が、前処理部３０４により分割された複数の分割画像を入力として、学習モデル１０４を用いた異常判定処理により、異常の有無を示す判定結果を出力として得るものとしている。これによって、所定の対象物としてのフランジ部３１ａについて精度よく形状の異常を検知することができる。また、撮像画像のフランジ部３１ａの画像部分を複数の分割画像に分割するため、異常判定部３０５による異常判定処理の負荷を低減することができる。

また、異常検知装置１０では、抽出部３０３が、取得部３０１により取得された撮像画像からフランジ部３１ａの画像部分を抽出画像として抽出し、前処理部３０４が、抽出部３０３により抽出された抽出画像を、複数の画像に分割するものとしている。これによって、所定の対象物としてのフランジ部３１ａを含む画像部分を抽出したうえで異常判定処理が行われるので、フランジ部３１ａに対する異常検知の精度を向上させることができる。

また、異常検知装置１０では、工程通信部３０２が、部品３０が搬送ライン３上の所定位置に搬送されたことを示す搬送信号を受信し、取得部３０１が、工程通信部３０２により搬送信号が受信された場合に、撮像装置１２により撮像された撮像画像の取得を開始するものとしている。これによって、搬送信号が受信された時点から、撮像画像の取得処理が開始されて、異常判定処理までの一連の処理が実行されるので、異常検知装置１０の処理負荷を低減することができる。

また、異常検知装置１０では、工程通信部３０２により搬送信号が受信された場合、待機モードから復帰させ、異常判定部３０５による異常判定処理が終了すると、待機モードへ移行させるものとしている。これによって、異常検知装置１０としてシングルボードコンピュータ等を採用することができ、処理負荷を低減することができる。

１異常検知システム
３搬送ライン
１０異常検知装置
１１ＰＬＣ
１２撮像装置
１３表示装置
２０サーバ装置
３０部品
３１ルーフ部材
３１ａフランジ部
３１ｂ異常部分
１０１画像処理プログラム
１０２前処理プログラム
１０３異常判定プログラム
１０４学習モデル
３０１取得部
３０２工程通信部
３０３抽出部
３０４前処理部
３０５異常判定部
３０６表示制御部
３０７生成部
３０８記憶部

Claims

撮像装置により撮像された、搬送経路上で搬送される部品における所定の対象物に対する撮像画像を取得する取得部と、
前記取得部により取得された前記撮像画像から前記対象物の画像部分を抽出画像として抽出する抽出部と、
設定に応じて、または、前記抽出画像のデータサイズもしくは形状に応じて、該抽出画像を複数の画像に分割するか否かを切り替えて実行する分割部と、
前記分割部により分割された場合には前記複数の画像を入力として、該分割部により分割されない場合には前記抽出画像を入力として、所定の学習モデルを用いた異常判定処理により、異常の有無を示す判定結果、および前記判定結果の信頼性の程度を示す信頼度を出力として得る判定部と、
前記取得部により取得された前記撮像画像に対して、異常を示す前記判定結果および該判定結果の前記信頼度を重畳して表示装置に表示させる表示制御部と、
を備えた異常検知装置。
前記部品が前記搬送経路上の所定位置に搬送されたことを示す信号を受信する受信部を、さらに備え、
前記取得部は、前記受信部により前記信号が受信された場合に、前記撮像装置により撮像された前記撮像画像の取得を開始する請求項１に記載の異常検知装置。
前記受信部により前記信号が受信された場合、待機モードから復帰させ、前記判定部による前記異常判定処理が終了すると、前記待機モードへ移行させる請求項２に記載の異常検知装置。
前記部品における所定の対象物の画像と、正常か異常かを示すラベルとを組み合わせた教師データを用いて、教師あり学習により前記学習モデルを生成する生成部を、さらに備えた請求項１～３のいずれか一項に記載の異常検知装置。
撮像装置により撮像された、搬送経路上で搬送される部品における所定の対象物に対する撮像画像を取得する取得ステップと、
取得した前記撮像画像から前記対象物の画像部分を抽出画像として抽出する抽出ステップと、
設定に応じて、または、前記抽出画像のデータサイズもしくは形状に応じて、該抽出画像を複数の画像に分割するか否かを切り替えて実行する分割ステップと、
分割した場合には前記複数の画像を入力として、分割しない場合には前記抽出画像を入力として、所定の学習モデルを用いた異常判定処理により、異常の有無を示す判定結果、および前記判定結果の信頼性の程度を示す信頼度を出力として得る判定ステップと、
取得した前記撮像画像に対して、異常を示す前記判定結果および該判定結果の前記信頼度を重畳して表示装置に表示させる表示制御ステップと、
を有する異常検知方法。