JP2016206825A - 画像登録装置およびその方法 - Google Patents

Abstract

【課題】撮影画像と撮影場所、撮影対象物とを効率的に対応付けする。
【解決手段】画像登録装置１００は、点検対象機器を撮影したテンプレート画像を、点検対象機器の第１の点検経路に沿って、予め格納したテンプレートデータベース１０７、点検対象機器が撮影された点検画像を入力し、点検画像データベースに点検画像の撮影時刻順に格納する画像入力部１０１、点検画像とテンプレート画像との類似度を算出する類似度算出部１０２、異なる点検画像同士の撮影時刻の時刻差と、第１の点検経路に沿って点検対象機器間を作業者が移動するために要する所定の時間との時間差を算出する所要時間差異評価部１０３、並びに、類似度と時間差に基づいて、点検画像を撮影した、点検対象機器の第２の点検経路を推定し、第２の点検経路に基づいて、点検画像に対応するテンプレート画像をテンプレートデータベースから選択するテンプレート画像選択部１０４を有する。
【選択図】図１

Description

本発明は、プラント施設等の機器を点検する作業において、点検作業者が撮影した画像を登録する画像登録装置およびその方法に関する。

プラント施設の機器の点検では、点検作業者がプラント施設内に設置されている機器を一つずつ巡回し、機器の状態を確認している。また、機器の点検記録を残すために、点検作業者はカメラを用いて、撮影対象物としての点検対象機器の画像を撮影している。

特許文献１は、屋外における定期点検時のミスを防止する方法として、GPSで測位した点検作業員の位置情報が、予め情報端末に記録されている点検対象物の位置情報の所定範囲内であるかを確認する方法を開示している。

特許文献２は、GPSなどの位置検出手段を搭載した車両を走行させ、GPSの測位結果が所定の点検位置に到達したタイミングで画像の撮影を開始する方法や、所定の点検場所で撮影した画像と予め点検場所にて撮影した画像を比較して、GPSでの位置検出結果を補正し、より正確に点検位置を確認する方法を開示している。

特開２００７−２８０２８２号公報 特開２０００−３２４３６号公報

撮影対象物である点検対象機器を撮影した画像を活用するためには、画像を仕分ける作業が必要である。ここでの仕分け作業とは、撮影した画像がプラント施設内のどの場所でどの機器を撮影したものかを特定する作業である。撮影した画像と、撮影対象の機器、およびその機器の設置場所とを対応付けておけば、撮影した画像の仕分け作業が容易になる。仕分け作業が容易になれば、点検報告書を作成する際に必要な画像を簡単に探し出せるので、画像を活用しやすくなる。また、画像を機器ごとに整理しておけば、同一機器の画像を時系列に閲覧できるので、機器の経年変化に気付くことができ、点検作業の効率化につながる。

しかし、プラント施設内の点検対象機器の数は膨大で、撮影した画像の枚数も大量であり、類似した点検対象機器も多いために、撮影した画像の仕分け作業に長い時間がかかる。また、プラント施設内の点検経路も点検日によって変化することがあるので、撮影した画像の仕分け作業にミスが発生しやすい。

特許文献1および特許文献２の技術は、GPS電波を遮蔽する金属材料が建物や構築物に用いられているプラント施設では利用できない。

そこで、GPSを用いた位置情報を利用できないプラント施設において、撮影した画像の仕分け作業として、撮影した画像（点検画像）と撮影場所（点検対象機器の位置）、撮影対象物（点検対象機器）とを効率的に対応付けることが必要である。

開示する画像登録装置は、テンプレートデータである点検対象機器を撮影したテンプレート画像を、点検対象機器の第１の点検経路に沿って、予め格納したテンプレートデータベース、点検対象機器が撮影された点検画像を入力し、点検画像データベースに点検画像の撮影時刻順に格納する画像入力部、点検画像とテンプレート画像との類似度を算出する類似度算出部、異なる点検画像同士の撮影時刻の時刻差と、第１の点検経路に沿って点検対象機器間を作業者が移動するために要する所定の時間との時間差を算出する所要時間差異評価部、並びに、類似度と時間差に基づいて、点検画像を撮影した、点検対象機器の第２の点検経路を推定し、第２の点検経路に基づいて、点検画像に対応するテンプレート画像をテンプレートデータベースから選択するテンプレート画像選択部を有する。

開示する画像登録装置によれば、撮影した画像の仕分け作業として、撮影した画像と撮影場所、撮影対象物とを効率的に対応付けできる。

画像登録システムの構成を示すブロック図である。 画像登録装置のハードウェア構成の一例である。 画像登録装置の処理フローチャートである。 点検画像データベースの構成例である。 類似度算出部の処理フローチャートである。 テンプレートデータベースの構成例である。 所要時間差異評価部の処理フローチャートである。 移動時間算出用データベースの構成例である。 テンプレート画像選択部の処理フローチャートである。 テンプレート画像選択部の動作を説明する模式図である。 テンプレート画像選択部の動作を説明する模式図である。 出力データベースの構成例である。 実施例２の画像登録システムの構成を示すブロック図である。 実施例３の画像登録システムの構成を示すブロック図である。 画像登録装置による処理結果の画面表示例である。 画像登録装置による処理結果のレイアウト図上への表示例である。 実施例２のテンプレートデータベースの構成例である。 実施例２の出力データベースの構成例である。 作業支援画面の例である。 作業内容の表示画面の例である。 実施例４の画像登録システムの構成を示すブロック図である。 標準点検経路データベースの構成例である。 実施例４のテンプレート画像選択部の処理フローチャートである。

以下、実施形態をいくつかの実施例を用いて説明する。

図１は、本実施例の画像登録システムの構成を示すブロック図である。本システムは、撮影装置１１１を用いて対象物を撮影した画像を入力すると、入力した画像の撮影対象物を特定し、特定した撮影対象物の位置などの、対象物に関する情報を処理結果として出力し、対象物の撮影漏れや撮影内容を作業者が確認できるようにするシステムである。この画像登録システムを用いて点検対象物を特定し、対象物に関する情報を付与する手順の一例を以下に説明する。

画像登録システムは、デジタルカメラやタブレット端末などの、点検作業者（以下、作業者）が点検対象機器を撮影するための撮影装置１１１と、画像登録装置１００を有する。画像登録装置１００は、画像入力部１０１、類似度算出部１０２、所要時間差異評価部１０３、テンプレート画像選択部１０４、および画像情報登録部１０５の処理部、並びに、点検画像データベース１０６、テンプレートデータベース１０７、移動時間算出用データベース１０８、および出力データベース１０９のデータベースを有する。なお、図面では、データベースをＤＢと表す。

画像入力部１０１は、撮影装置１１１によって点検対象機器が撮影された点検画像を入力し、点検画像データベース１０６に格納する。類似度算出部１０２は、点検画像データベース１０６内の点検画像とテンプレートデータベース１０７内のテンプレート画像との類似度を算出する。所要時間差異評価部１０３は、異なる点検画像の撮影時刻の差分時間と、移動時間算出用データベース１０８から算出した、点検作業員が機器間の移動に要する時間との差（時間差）を評価する。テンプレート画像選択部１０４は、類似度算出部１０２が算出した類似度と所要時間差異評価部１０３が算出した時間差に基づいて、点検画像に対応するテンプレート画像を選択する。また、テンプレート画像選択部１０４は、対応する点検画像がなく、選択されないテンプレート画像を点検漏れの対象として出力する。画像情報登録部１０５は、選択されたテンプレート画像に予め対応づけられた点検対象機器の設置位置情報などを点検画像に対応付けて出力データベース１０９に登録する。

図２は、画像登録装置１００のハードウェア構成の一例である。画像登録装置１００は、プロセッサ２０１、メインメモリ２０２、入力装置２０３、出力装置２０４、インターフェース（Ｉ／Ｆ）２０５及び記憶装置２０６が相互に接続された計算機により実現される。プロセッサ２０１は、メインメモリ２０２に格納されたプログラムを実行する。メインメモリ２０２は、例えば半導体メモリであり、プロセッサ２０１によって実行されるプログラム及びプロセッサ２０１によって参照されるデータを格納する。具体的には、記憶装置２０６に格納されたプログラム及びデータの少なくとも一部が、必要に応じてメインメモリ２０２にロードされる。入力装置２０３は、作業者などのユーザ又はシステム管理者からの入力を受ける。入力装置２０３は、例えばキーボード又はマウス等である。出力装置２０４は、ユーザ又はシステム管理者に情報を出力する。出力装置２０４は、例えば液晶ディスプレイのような画像表示装置である。Ｉ／Ｆ２０５は、撮像装置１１１から画像を入力するためのインターフェースである。記憶装置２０６は、例えばハードディスク装置（ＨＤＤ）又はフラッシュメモリのような不揮発性の記憶装置である。本実施例の記憶装置２０６には、少なくとも、画像入力部１０１、類似度算出部１０２、所要時間差異評価部１０３、テンプレート画像選択部１０４、画像情報登録部１０５、点検画像データベース１０６、テンプレートデータベース１０７、移動時間算出用データベース１０８、および出力データベース１０９を格納する。画像入力部１０１、類似度算出部１０２、所要時間差異評価部１０３、テンプレート画像選択部１０４、および画像情報登録部１０５は、プロセッサ２０１によって実行される処理部（プログラム）である。

図３は、画像登録装置１００の処理フローチャートである。この処理フローチャートは、画像登録装置１００の概略的な処理の流れを表し、個々の処理の詳細は後述する。

作業者がプラント施設内を巡回して、点検対象機器の撮影を完了し、撮影装置１１１を画像登録装置１００に接続すると、画像入力部１０１が処理を実行する（ステップ３０１）。画像入力部１０１は、点検対象機器を撮影した、撮影装置１１１内の点検画像およびその撮影時刻情報を入力し、点検画像データベース１０６へ格納する。

図４は、点検画像データベース１０６の構成例である。点検画像データベース１０６は、点検画像４０１と点検画像４０１が撮影された撮影時刻４０２とを関連づけて格納する。点検画像データベース１０６は、撮影時刻４０２順に、点検画像４０１を格納する。

図６は、テンプレートデータベース１０７の構成例である。テンプレートデータベース１０７は、熟練作業員などが、点検経路ごとに、分かり易く、時間効率の良い点検経路に沿って、予め作成したテンプレートデータを格納する。テンプレートデータベース１０７に格納されるテンプレートデータは、点検対象機器を撮影したテンプレート画像６０１、点検対象機器を一意に特定する番号（識別子）である機器ＩＤ６０２、プラント施設の所定のレイアウト図面上での点検対象機器の設置位置の座標値６０３、及び、点検対象機器の標準的な点検時間６０４を含む。点検時間６０４は、工程管理上のＳＴ(Standard Time)である。

画像入力部１０１の処理が終了すると、類似度算出部１０２が処理を実行する（ステップ３０２）。

図５は、類似度算出部１０２の処理フローチャートである。類似度算出部１０２は、点検画像データベース１０６からの点検画像４０１とテンプレートデータベース１０７からのテンプレート画像６０１を１枚ずつ取得し（ステップ５０１、５０２）、取得した点検画像４０１とテンプレート画像６０１との類似度を算出する（ステップ５０３）。類似度は、類似しているほど大きな値を示す。類似度算出部１０２は、点検画像４０１とテンプレート画像６０１の全ての組み合わせに対して類似度を算出する（ステップ５０４、５０５）。類似度算出には、二つの画像間の類似度を定量化できる方法であればどのような方法を用いても良い。例えば、特徴量抽出手法であるSIFT（Scale-Invariant Feature Transform）やSURF（Speeded Up Robust Features）を用いて、点検画像４０１とテンプレート画像６０１の特徴量を各々抽出して、抽出した特徴量間の距離を算出し、算出した距離の逆数を類似度として用いる。

類似度算出部１０２の処理が終了すると、所要時間差異評価部１０３が処理を実行する（ステップ３０３）。

図７は、所要時間差異評価部１０３の処理フローチャートである。所要時間差異評価部１０３は、点検画像データベース１０６から撮影順が連続する二枚の点検画像４０１の撮影時刻４０２を取得し、その時刻差を計算する（ステップ７０１、７０２）。所要時間差異評価部１０３は、移動時間算出用データベース１０８から移動所要時間データを取得する（ステップ７０３）。

図８は、移動時間算出用データベース１０８の構成例である。移動時間算出用データベース１０８は、移動所要時間データとして、移動開始位置８０１、移動開始位置８０１の機器ＩＤ(以下、開始機器ＩＤ)８０２、移動終了位置８０３、移動終了位置８０３の機器ＩＤ(以下、終了機器ＩＤ)８０４，移動開始位置から移動終了位置までの移動に要する移動所要時間８０５を対応付けて格納している。移動開始位置８０１と移動終了位置８０３（または、開始機器ＩＤ８０２と終了機器ＩＤ８０４）の対応関係は、点検経路に沿った点検対象の全機器について網羅されていてもよいが、遠い位置関係にある機器間を除外し、想定される点検経路上にある機器間を網羅されていればよい。例えば、機器Ａ→機器Ｂ→機器Ｃ→機器Ｄの点検経路に対して、機器Ａ→機器Ｃ→機器Ｂ→機器Ｄの点検経路が許容されるならば、機器Ａ→機器Ｂ、機器Ｂ→機器Ｃ、機器Ｃ→機器Ｄの他に、機器Ａ→機器Ｃ、機器Ｃ→機器Ｂ、機器Ｂ→機器Ｄの移動を網羅する必要がある。なお、移動所要時間８０５は事前に点検機器間を実際に歩いて計測した結果である。または、テンプレートデータベース１０７内の位置６０３から二地点間の距離を算出し、一般的な作業者の歩行速度を用いて移動時間を推定することにより、歩行時間の実測を省略することもできる。移動所要時間８０５を推定する際は、階段の上り下りの速度の違いなどを考慮することでより正確な移動時間の推定ができる。

所要時間差異評価部１０３は、ステップ７０２で求めた時刻差(以下、時刻差)とステップ７０３で取得した移動所要時間８０５との差異を評価する（ステップ７０４）。時刻差には、点検対象機器の点検時間が含まれている。そこで、所要時間差異評価部１０３は、テンプレートデータベース１０７を参照して、(移動時間)＝（時刻差)−{（開始機器ＩＤ８０２の点検時間６０４）＋（終了機器ＩＤ８０４の点検時間６０４）}/２により、移動時間を推定する。

所要時間差異評価部１０３が用いる、移動時間と移動所要時間８０５との差異(以下、時間差)の評価方法は、単純に時間の差を用いる方法や、正規分布などの関数で時間の差を補正する方法、時間の比を用いる方法が利用できる。所要時間差異評価部１０３は、点検経路に沿った全ての点検画像４０１と移動時間算出用データベースの点検経路に沿った全ての移動所要時間データの組み合わせにおいて、処理を実行する（ステップ７０５、７０６）。

上述のステップ７０２で算出した撮影時刻の時刻差を補正した移動時間は、作業者がｎ番目の点検対象場所からｎ＋１番目の点検対象場所まで移動するのにかかった時間に相当する。そのため、ステップ７０３で取得した移動所要時間データの移動開始位置と移動終了位置とが、ステップ７０１で選択した二枚の画像の設置位置と一致していればステップ７０４で算出する時間差は小さくなり、不一致であれば時間差は大きくなる。この性質を利用することで、後述するテンプレート画像選択部１０４は作業者の点検経路の妥当性を評価する。

所要時間差異評価部１０３の処理が終了すると、テンプレート画像選択部１０４が処理を実行する（ステップ３０４）。

テンプレート画像選択部１０４は、類似度算出部１０２が算出した類似度と所要時間差異評価部１０３が算出した時間差とに基づいて、作業者が巡回した点検経路を推定することにより、点検画像４０１に対応するテンプレートデータを選択する処理である。

図９は、テンプレート画像選択部１０４の処理フローチャートである。点検対象機器の点検漏れがない場合について先に説明し、点検漏れ（点検画像の不足）がある場合については後述する。

前述のように、同じ複数の機器を点検対象とした点検経路であっても、複数の点検経路があり得るので、テンプレート画像選択部１０４は、その中から未評価の点検経路を評価対象経路として１つ選択する（ステップ９０１）。テンプレート画像選択部１０４は、選択した点検経路に沿って、類似度の総和を算出する(ステップ９０２)。

図１０Ａは、テンプレート画像選択部１０４の動作を説明する模式図であり、選択した点検経路に沿った類似度の総和について説明する図である。図１０Ａの表は、ステップ３０２で算出した類似度（Ｓ_ij、iは表の行、jは表の列）を表す。行番号（Ａ〜Ｅ）は機器ＩＤ６０２、列番号（１〜５）は点検画像４０１の撮影順を表す。表中の各セルは、機器ＩＤ６０２のテンプレート画像６０１と点検画像４０１との類似度Ｓ_ijをそれぞれ格納している。

点検経路は、図１０Ａ中の、Ｓ_B1→Ｓ_D2→Ｓ_E3→Ｓ_C4→Ｓ_A5のように各列から一つずつのセルを選択した組み合わせに相当する。言い換えると、作業者が撮影した全ての点検画像４０１に対し、点検対象機器の機器ＩＤ６０２を１つずつ選定した結果をつなげたものが１つの点検経路に該当する。この表の中の類似度を点検経路に沿った総和は、その経路の妥当性を意味し、複数の経路の中で類似度の総和がより大きい経路ほど作業者が点検した経路として尤もらしいと言える。なお、前述したように、遠い位置関係にある機器を連続して点検するような非効率な経路を評価対象から除外すると、評価する経路の数を削減できるため、テンプレート画像選択部１０４の処理に要する時間を短くすることができる。

そこで、テンプレート画像選択部１０４は、選択した評価対象経路の類似度の総和を算出し、類似度の総和を経路の妥当性を評価した結果として用いる。同様に、テンプレート画像選択部１０４は、選択した評価対象経路に沿って時間差の指標として時間差の総和を算出する（ステップ９０３）。これにより時間差の観点から経路の妥当性を評価できる。上述の通り、評価対象経路が作業者の通った点検経路と同じであれば、図１０Ａ中の経路の一つ一つの矢印上の時間差は小さい値となり、それらを合計した経路全体の時間差も、他の経路に比べて小さくなる。なお、前述のある機器を再点検する場合は、図１０Ａの、行番号に再点検の機器ＩＤ６０２を追加し、再点検時の点検画像を列番号に追加することにより、拡張できる。

テンプレート画像選択部１０４は、類似度の総和と時間差の総和との差（総和差）を算出する（ステップ９０４）。類似度が高く（値が大）、時間差が小さい（値が小）ほど、評価対象経路が点検経路として妥当であるので、テンプレート画像選択部１０４は、算出した総和差を経路の妥当性を表現するスコアとする。全ての評価対象経路のスコア評価が完了したならば（ステップ９０５）、スコアが最高値を表す経路を、作業者の点検経路であると推定する（ステップ９０６）。このように、テンプレート画像選択部１０４は、推定した点検経路に従って、各点検画像４０１に対し妥当なテンプレート画像６０１を選択する。

テンプレート画像選択部１０４の処理が終了すると、画像情報登録部１０５が処理を実行する（ステップ３０５）。画像情報登録部１０５は、テンプレート画像選択部１０４の処理結果に基づいて、出力データベース１０９に点検画像４０１に対応させて撮影対象機器情報を登録する。

なお、類似度の総和と時間差の総和との差として総和差を算出するが、類似度算出部１０２が用いる類似度算出手法に依存して、互いの総和の値が桁違いになる場合がある。このような場合、係数ｋを用いて、（総和差）＝（類似度の総和）−ｋ（時間差の総和）により総和差を補正すればよい。係数ｋを用いることは、時間差の総和に比例する値を用いることである。

点検対象機器の点検漏れ（点検画像の不足）がある場合のテンプレート画像選択部１０４の処理を説明する。なお、図９の処理フローチャートでは、点検対象機器の点検漏れがある場合の処理を省略しているが、以下の説明に援用する。

図１０Ｂは、テンプレート画像選択部１０４の動作を説明する模式図である。テンプレート画像選択部１０４は、図１０Ｂのように、ステップ９０１で選択した評価対象経路にある点検対象機器の数（点検経路ごとのテンプレートデータベース１０７に含まれるテンプレート画像６０１の数または機器ＩＤ６０２）に比べて点検画像の数が不足するとき、点検漏れがあると判定する。テンプレート画像選択部１０４は、判定結果（点検漏れがある）を画像登録装置１００のメインメモリ２０２のワークエリアに格納する。テンプレート画像選択部１０４は、対応する点検画像４０１がない、点検経路に沿ったテンプレート画像６０１を特定する。

ワークエリアに格納された、点検漏れがあるとの判定結果に応答して、テンプレート画像選択部１０４は、評価対象経路に関する処理（ステップ９０１〜９０５）の処理ループの中か、作業者の点検経路の推定（ステップ９０６）の後のいずれかで、対応する点検画像４０１がない、点検経路に沿ったテンプレート画像６０１を特定する処理を実行する。図１０Ｂの例では、機器ＩＤが「Ｃ」の点検対象機器が点検漏れ（対応する点検画像がない）になっているので、テンプレート画像選択部１０４は、機器ＩＤが「Ｃ」の点検対象機器が点検漏れである旨を、出力装置２０４にメッセージとして表示する。このメッセージの表示に対応して、作業者は、点検漏れした点検対象機器を点検して、点検画像を撮影する。

点検漏れに対応して追加撮影された点検画像４０１の撮影時刻４０２を用いて、所要時間差異評価部１０３による移動時間を求めると、撮影時刻が先の点検時と異なるので、先に推定した作業者の点検経路と矛盾を生じるので、先に推定した作業者の点検経路中に点検漏れに対応して追加撮影された点検画像４０１を挿入する。換言すると、点検画像データベース１０６の、点検漏れの点検対象機器の点検画像４０１が格納されるべき、推定した作業者の点検経路に沿った順序の位置に、点検漏れに対応して追加撮影された点検画像４０１を挿入する。

以上により、点検対象機器の点検漏れを検出し、追加撮影された点検画像４０１を点検画像データベース１０６に追加格納することができる。追加撮影された点検画像４０１の点検画像データベース１０６への追加格納に応答して、画像情報登録部１０５は、出力データベース１０９に追加格納した点検画像４０１に対応させて撮影対象機器情報を登録する。

なお、テンプレート画像選択部１０４が、各点検画像４０１の類似度の総和と時間差異の総和との総和差を用いて、作業者の点検経路を推定し、推定した点検経路に沿って、点検画像４０１に対応するテンプレート画像６０１を選択することを説明したが、各点検画像４０１のテンプレート画像６０１との類似度と移動時間の時間差との差を用いて、点検経路を推定せずに、点検画像４０１に対応するテンプレート画像６０１を選択してもよい。これは、点検経路を推定する方法において、点検対象機器が一つの場合に相当し、点検経路中の最初の点検画像４０１に対応するテンプレート画像６０１を選択した結果を用いて、２番目の点検画像４０１に対応するテンプレート画像６０１を選択するように、逐次的にテンプレート画像６０１を選択する方法である。

図１１は、出力データベース１０９の構成例である。テンプレート画像選択部１０４の出力は、点検対象機器の機器ＩＤ６０２、位置６０３、および点検画像４０１の組み合わせの系列である。画像情報登録部１０５は、出力データベース１０９の点検画像１１０１に、テンプレート画像選択部１０４の出力に含まれる、点検画像の撮影順番に対応する点検画像４０１を点検画像データベース１０６から取得し、格納する。画像情報登録部１０５は、出力データベース１０９の機器ＩＤ１１０２および位置１１０３に、テンプレート画像選択部１０４が点検画像４０１と対応し、選択したテンプレートデータの機器ＩＤ６０２と位置６０３をテンプレートデータベース１０７から取得し、格納する。画像情報登録部１０５は、テンプレート画像選択部１０４の出力に含まれる系列全てに関して、出力データベース１０９へデータを格納する。以上により、点検画像と、撮影対象の機器ＩＤ、機器の設置位置とが対応付けられる。

本実施例では、点検画像とテンプレート画像の対応付けの精度向上のため、「類似度」と「時間差異」の二種の情報を用いる方法を示した。プラント施設内には、外観が似ている複数の機器が異なる場所に配置されている場合があるため、画像の類似度のみを用いる方法では、類似度の高いテンプレート画像が複数検出され、点検画像とテンプレート画像との対応関係を一意に絞り込めないことが課題となる。そこで、本実施例では画像間の類似度に加えて移動時間も考慮しながら点検経路の妥当性を評価し、点検画像とテンプレート画像を対応づける。これにより、外観が似ている機器同士であっても、それらの機器の位置までの移動時間が異なっていれば機器同士を区別することができる。よって、点検画像とテンプレート画像の対応付けの精度が向上する。また、点検時の経路が予めわかっている場合は、点検経路の情報も利用することで点検画像とテンプレート画像との対応付けの精度をさらに高めたり、上述のように処理時間を短縮したりすることが可能である。

本実施例の画像登録システムは、液晶ディスプレイなどの出力装置２０４に、画像登録装置１００による処理結果を表示する。図１４は、出力装置２０４への表示例である。図１４の表示例は、出力装置２０４の画面上に、機器毎に機器ＩＤ，設置位置、および点検画像の一覧を表示している。表示される機器ＩＤは、出力データベース１０９に格納されている機器ＩＤ１１０２である。表示される位置は、出力データベース１０９の位置１１０３を元に、所定のレイアウト上の位置を算出し、算出した位置に二重丸を表示したものである。点検画像は、図１４のように機器毎に、点検日時順に並べて表示しても良い。このように一覧表示することにより、作業者やその管理者はプラント施設内の機器の位置と機器の状態とを容易に把握することができる。また、図１５の出力画面の例のように一つのレイアウト図上に複数の機器の点検結果をまとめて表示してもよい。

以上では、テンプレートデータベース１０７に格納されるテンプレート画像６０１は、１つの機器に対し1枚としたが、撮影位置、撮影日、撮影時刻、撮影に用いるカメラなど、撮影条件が異なる複数枚の画像でも良い。複数枚のテンプレート画像６０１を用い、点検画像により対応するテンプレート画像６０１を選択することにより、作業者、撮影環境、撮像装置に起因する点検画像の変動を吸収できるようになり、テンプレート画像選択部１０４による点検画像とテンプレート画像との対応付けの精度を向上できる。例えば、晴れた日に明るい室内で撮影したテンプレート画像６０１と、雨の日に暗い室内で撮影した点検画像４０１とでは画像の輝度値が大きく異なるため、同一機器を撮影した画像同士であっても、類似度が低くなり、テンプレート画像選択部１０４は、誤ったテンプレート画像を選択する場合がある。この問題への解決策として、天候の異なる日に撮影した複数枚のテンプレート画像６０１をテンプレートデータベース１０７に格納しておくことが有効である。

複数枚のテンプレート画像６０１がテンプレートデータベース１０７に格納されている場合、類似度算出部１０２は、前述のステップ５０２とステップ５０３を、以下のように処理する。類似度算出部１０２は、1つの機器に対応づけられている複数枚のテンプレート画像６０１を取得し、点検画像４０１と複数枚のテンプレート画像６０１の各々との類似度を算出する。類似度算出部１０２は、算出した複数の類似度の中で最も値が大きい類似度を、その類似度を示すテンプレート画像６０１と対応付けて出力する。以上の処理により、点検日の天候によって撮影画像の輝度が変化した場合でも、複数のテンプレート画像のうちの類似度が高い、正しいテンプレート画像６０１を選択することができる。ここでは天候の変化を例にしたが、撮影位置や撮影装置など、画像が変化する異なる撮影条件で複数のテンプレート画像６０１を撮影して、テンプレートデータベース１０７に格納することが望ましい。また、点検作業後に画像登録装置１００で仕分けされた画像を、その後の仕分けのためのテンプレート用の画像として利用することも可能である。点検用の画像を収集し、画像登録装置１００を利用して点検画像を仕分ける度にテンプレート画像を増やすことで、画像の仕分けの精度を向上させることができる。

以上の本実施例によれば、撮影した画像の仕分け作業として、撮影した画像と撮影場所、撮影対象物とを効率的に対応付けできる。また、撮影対象物の撮影漏れを防止できる。

また、本実施例によれば、点検画像に対応するテンプレートデータを選択できるので、点検画像の仕分け作業の効率を向上できる。

本実施例は、実施例１における撮影装置１１１と画像登録装置１００を一体化した画像登録システムとしてのモバイル型画像登録装置である。図１２は、モバイル型画像登録装置１２０の構成を示すブロック図である。モバイル型画像登録装置１２０は、スマートフォンなど持ち運び可能な小型のコンピュータを用いる。実施例１では、画像登録装置１００に撮影装置１１１を接続した時に、画像入力部１０１が処理を実行したのに対して、本実施例では、撮影直後に画像入力部１０１が処理を実行する。その他の構成及び動作は実施例１と同様である。

本実施例では、撮影直後に点検画像が入力され、実施例１のステップ３０１〜ステップ３０５を実行することにより、点検対象機器の位置を特定できるため、撮影した作業者の撮影位置をリアルタイムで特定できる。

図１６は、本実施例のテンプレートデータベース１０７の構成例である。本実施例では、実施例１のテンプレートデータベース１０７の項目に加えて、テンプレートデータベース１０７中に、各点検対象機器での点検作業の名称１６０１と作業内容１６０２を含む。点検作業の名称１６０１は、点検作業に付与される名称であり、文字列により表現する。作業内容１６０２は、文字列により表現し、例えば「メータの数値が○○以下であることを確認する」のように、作業者が確認すべき内容である。または、作業内容１６０２は、作業内容を説明する画像や動画を含んでも良い。

テンプレートデータベース１０７に格納されたこれらのデータは、実施例１と同様に、モバイル型画像登録装置１２０の出力データベース１０９に格納される。

図１７は、本実施例の出力データベース１０９の構成例である。出力データベース１０９は、点検画像１１０１、機器ＩＤ１１０２、および位置１１０３に加え、テンプレートデータベース１０７から取得された点検作業名称１７０１や作業内容１７０２を格納する。

本実施例のモバイル型画像登録装置１２０は、作業者への作業指示を出すための作業支援画面生成部１２０１を備えている。作業支援画面生成部１２０１は、出力データベース１０９を参照しているため、作業者の現在位置情報を表示したり、点検済み機器と未点検機器を区別して表示したりすることができる。図１８Ａは、作業者の現在位置の表示や点検済み機器と未点検機器を区別して表示する作業支援画面の例である。これにより作業者の点検漏れを防止できる。

図１８Ｂは、作業内容の表示画面の例である。作業内容の表示画面は、出力データベース１０９から取得した作業内容１７０２を表示する。作業者が点検機器の画像を撮影した直後に、その場所で必要な作業内容がモバイル型画像登録装置１２０に表示されるので、作業者は適切なタイミングで作業できる。

図１３は、本実施例の画像登録システムの構成を示すブロック図である。本実施例の画像登録システムは、画像装置１１１および作業支援画面生成部１２０１を含む作業支援端末１３０１と、実施例１の画像登録装置を実装したサーバ１３０２を、ネットワークを介して接続した構成である。一般的に、作業支援端末１３０１の処理能力はサーバ１３０２の処理能力に比べて低いため点検対象機器が多くなると、作業支援端末１３０１での処理が滞り、リアルタイムな処理ができなくなる。これに対し、本実施例では、点検箇所が多くなることによって増大する処理を処理能力の高いサーバ１３０２に実装するので、リアルタイム性を損なうことなく、作業者の作業を支援できる。

図１９は、本実施例の画像登録システムの構成を示すブロック図である。本実施例の画像登録システムは、実施例１の画像登録システムに、標準の点検経路データベース１９０１を付加している。標準の点検経路データベース１９０１を用いることにより、テンプレート画像選択部１０４が点検経路の妥当性をより正確に評価できるようにしたものである。

図２０は、標準点検経路データベース１９０１の構成例である。標準点検経路データベース１９０１は、点検順路２００１、点検順路に対応する機器ＩＤ２００２、機器の設置位置２００３を格納する。図２０の例では、機器Ａ→機器Ｂ→・・・・の順で点検するのが標準経路として定められている。標準経路は、点検作業前に熟練作業員などにより選定された、プラント施設内の全ての機器を最も効率良く巡回できるような経路である。

ここでは、本実施例が実施例１と処理が異なるテンプレート画像選択部１０４について説明する。図２１は、本実施例のテンプレート画像選択部１０４の処理フローチャートである。実施例１のテンプレート画像選択部１０４と異なる処理は、ステップ２１０１およびステップ２１０２である。テンプレート画像選択部１０４は、未評価の巡回経路の中から１つの経路を選択する（ステップ９０１）。テンプレート画像選択部１０４は、選択した経路に沿って類似度の総和と時間差の総和を算出する(ステップ９０２、９０３)。

テンプレート画像選択部１０４は、選択した評価対象経路と、標準点検経路との差異を評価する（ステップ２１０１）。この評価には、評価対象経路と標準点検経路とが異なるほど値が大きくなる判定関数を用いる。これにより、作業者が巡回した点検経路は一般に標準経路に沿っており、標準経路との差異が小さいはずである、すなわち判定関数を用いた結果の値が最も小さい評価対象経路が、作業者による点検経路であるという仮定を反映でき、より高精度な位置推定が可能となる。具体的な算出方法としては、標準経路上の点検対象機器の位置と評価対象経路上の対応する点検対象機器の位置との距離を算出し、その総和を経路間の差異と定義する。たとえば、標準経路が機器Ａ→機器Ｂ→機器Ｃであり、評価対象経路が機器Ｃ→機器Ａ→機器Ｂの場合は、（機器Ａと機器Ｃの距離）＋（機器Ｂと機器Ａの距離）＋（機器Ｃと機器Ｂの距離）のように、経路上のＮ番目の点検機器同士の距離の総和を２つの経路の差異とする。また、ＤＰ（dynamic programming）マッチングのアルゴリズムを用いることにより、点検機器を一つ飛ばして点検してしまった場合などに差異が不当に大きくなる問題を回避した判定関数を定義することもできる。ここでの判定関数は二つの経路の差異を評価できるものであればどのような手法を用いても良い。

テンプレート画像選択部１０４は、類似度の総和、時間差の総和、および経路の差異の結果を統合し評価対象経路のスコアを算出する（ステップ２１０２）。評価対象経路のスコアの算出は、実施例１と同様の、テンプレート画像との類似度が高く、時間差が小さく、さらに本実施例で求めた経路の差異が小さい経路が、点検者の経路として妥当であると言えるので、算出した値を経路の妥当性を表現するスコアとする。テンプレート画像選択部１０４は、全経路のスコア評価を終了し、スコアが最高値となる経路を選定することで作業者の点検経路を推定できる（ステップ９０６）。この処理結果は点検画像に対し最も妥当なテンプレート画像が選択された結果となる。

本実施例により、点検画像に対応するテンプレートデータをより正しく選択でき、点検画像の仕分け作業の支援が可能となる。

以上説明した実施形態によれば、撮影した画像の仕分け作業として、撮影した画像と撮影場所、撮影対象物とを効率的に対応付けできる。

１００：画像登録装置、１０１：画像入力部、１０２：類似度算出部、１０３：所要時間差異評価部、１０４：テンプレート画像選択部、１０５：画像情報登録部、１０６：点検画像データベース、１０７：テンプレートデータベース、１０８：移動時間算出用データベース、１０９：出力データベース、１１１：撮影装置。

Claims (15)

1. テンプレートデータである点検対象機器を撮影したテンプレート画像を、前記点検対象機器の第１の点検経路に沿って、予め格納したテンプレートデータベース、
   前記点検対象機器が撮影された点検画像を入力し、点検画像データベースに前記点検画像の撮影時刻順に格納する画像入力部、
   前記点検画像と、前記テンプレート画像との類似度を算出する類似度算出部、
   異なる前記点検画像同士の前記撮影時刻の時刻差と、前記第１の点検経路に沿って前記点検対象機器間を作業者が移動するために要する所定の時間との時間差を算出する所要時間差異評価部、並びに、
   前記類似度と前記時間差に基づいて、前記点検画像を撮影した、前記点検対象機器の第２の点検経路を推定し、前記第２の点検経路に基づいて、前記点検画像に対応する前記テンプレート画像を前記テンプレートデータベースから選択するテンプレート画像選択部を有することを特徴とする画像登録装置。
2. 前記類似度は、前記点検画像から抽出した特徴量と、前記テンプレート画像から抽出した特徴量との距離の逆数であることを特徴とする請求項１に記載の画像登録装置。
3. 前記時間差を、前記時間差に比例する値とすることを特徴とする請求項１に記載の画像登録装置。
4. 前記テンプレートデータベースは、前記テンプレートデータとして前記テンプレート画像に対応させて前記点検対象機器の点検時間を格納し、前記作業者が前記点検対象機器間を移動した時間を、異なる前記点検画像同士の前記撮影時刻の前記時刻差から前記点検時間を減じた時間とすることを特徴とする請求項１に記載の画像登録装置。
5. 前記テンプレート画像選択部は、前記類似度から所定の係数を乗じた前記時間差を減じた値に応じて、前記点検画像に対応する前記テンプレート画像を前記テンプレートデータベースから選択することを特徴とする請求項１に記載の画像登録装置。
6. 前記テンプレート画像選択部は、前記点検画像に関する前記類似度の総計から所定の係数を乗じた前記時間差の総計を減じたスコアに応じて、前記点検画像を取得した前記第２の点検経路を推定し、前記第２の点検経路に沿って、前記点検画像に対応する前記テンプレート画像を前記テンプレートデータベースから選択することを特徴とする請求項１に記載の画像登録装置。
7. 前記テンプレート画像選択部は、前記第１の点検経路と前記第２の点検経路とが異なるほど値が大きくなる判定関数を用いて、前記判定関数を用いた結果の値が最も小さいとき、前記第２の点検経路と推定することを特徴とする請求項６に記載の画像登録装置。
8. 前記テンプレート画像選択部は、前記第２の点検経路に基づいた、前記テンプレート画像に対応する前記点検画像が前記点検画像データベースにないとき、前記点検画像がない前記点検対象機器が点検漏れであるとのメッセージを出力することを特徴とする請求項１記載の画像登録装置。
9. テンプレートデータである点検対象機器を撮影したテンプレート画像を、前記点検対象機器の第１の点検経路に沿って、予め格納したテンプレートデータベースを有する画像登録装置における画像登録方法であって、前記画像登録装置は、
   前記点検対象機器が撮影された点検画像を入力し、点検画像データベースに前記点検画像の撮影時刻順に格納し、
   前記点検画像と前記テンプレート画像との類似度を算出し、
   異なる前記点検画像同士の前記撮影時刻の時刻差と、前記第１の点検経路に沿って前記点検対象機器間を作業者が移動するために要する所定の時間との時間差を算出し、
   前記類似度と前記時間差に基づいて、前記点検画像を撮影した、前記点検対象機器の第２の点検経路を推定し、前記第２の点検経路に基づいて、前記点検画像に対応する前記テンプレート画像を前記テンプレートデータベースから選択することを特徴とする画像登録方法。
10. 前記類似度は、前記点検画像から抽出した特徴量と、前記テンプレート画像から抽出した特徴量との距離の逆数であることを特徴とする請求項９に記載の画像登録方法。
11. 前記時間差を、前記時間差に比例する値とすることを特徴とする請求項９に記載の画像登録方法。
12. 前記テンプレートデータベースは、前記テンプレートデータとして前記テンプレート画像に対応させて前記点検対象機器の点検時間を格納し、前記作業者が前記点検対象機器間を移動した時間を、異なる前記点検画像同士の前記撮影時刻の前記時刻差から前記点検時間を減じた時間とすることを特徴とする請求項９に記載の画像登録方法。
13. 前記画像登録装置は、前記類似度から所定の係数を乗じた前記時間差を減じた値に応じて、前記点検画像に対応する前記テンプレート画像を前記テンプレートデータベースから選択することを特徴とする請求項９に記載の画像登録方法。
14. 前記画像登録装置は、前記点検画像に関する前記類似度の総計から所定の係数を乗じた前記時間差の総計を減じたスコアに応じて、前記点検画像を取得した第２の点検経路を推定し、前記第２の点検経路に沿って、前記点検画像に対応する前記テンプレート画像を前記テンプレートデータベースから選択することを特徴とする請求項９に記載の画像登録方法。
15. 前記画像登録装置は、前記第１の点検経路と前記第２の点検経路とが異なるほど値が大きくなる判定関数を用いて、前記判定関数を用いた結果の値が最も小さいとき、前記第２の点検経路と推定することを特徴とする請求項１４に記載の画像登録方法。

Images