JP7316203B2 - 情報処理システム、情報処理装置、および情報処理方法 - Google Patents

Description

本発明は、情報処理システム、情報処理装置、および情報処理方法に関するものである。

被写体の姿勢を調整することなく特定の方向から撮像した画像に基づいて、任意の物体を認識することが求められている。例えば、商店などにおけるキャッシュレジスター端末において、商品認識エリア上の物体を撮像した画像に基づいて、当該物体がいずれの商品であるかを認識する情報処理システムが提案されている（特許文献１参照）。

特開２０１７－２２０１９８号公報

特許文献１に記載の情報処理システムでは、商品認識エリア上に置かれた物品の撮像に複数個の撮像部を用いており、構成が煩雑であった。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、簡潔な構成で物体の認識精度を向上させた情報処理システム、情報処理装置、および情報処理方法を提供することにある。

上述した諸課題を解決すべく、第１の観点による情報処理システムは、
撮像により画像を生成する撮像部と、
前記撮像部の撮像範囲内に配置され、前記撮像部の光軸に対して反射面が傾斜している反射部と、
前記画像の内の前記反射部が占める領域における第１部分画像と、前記画像の内の前記反射部以外の領域である第２部分画像とのそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する情報処理装置と、を備える。

また、第２の観点による情報処理装置は、
撮像部の光軸に対して反射面が傾斜している反射部を含む画像のデータを受信する通信部と、
前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する制御部と、を備える。

また、第３の観点による情報処理方法は、
コンピュータによって実行される情報処理方法であって、
撮像部の光軸に対して反射面が傾斜している反射部を含む画像を取得し、
前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、
前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する。

上記のように構成された本開示に係る情報処理システム、情報処理装置、および情報処理方法によれば、簡潔な構成で物体の認識精度が向上する

本実施形態に係る情報処理システムを含む精算システムの全体構成を示す構成図である。 図１の情報処理システムの全体構成を示す構成図である。 図２の情報処理装置の概略構成を示す機能ブロック図である。 図２のカメラが撮像する画像における第１部分画像および第２部分画像の領域を説明するための図である。 図３の制御部が実行する第１の方式による確定処理を説明するためのフローチャートである。 図３の制御部が実行する第２の方式による確定処理を説明するためのフローチャートである。 図３の制御部が実行する第３の方式による確定処理を説明するためのフローチャートである。 図３の制御部が実行する第３の方式の変形例による確定処理を説明するためのフローチャートである。 図３の制御部が実行する第４の方式による確定処理を説明するためのフローチャートである。

以下、本開示を適用した情報処理システムの実施形態について、図面を参照して説明する。

図１に示すように、本開示の一実施形態に係る情報処理システム１０を含む精算システム１１は、少なくとも１つの情報処理システム１０およびサーバ１２を含んで構成されている。本実施形態では、精算システム１１は、複数の情報処理システム１０を含む。

本実施形態において、情報処理システム１０はレジ端末に含まれている。情報処理システム１０は、購入者がレジ端末に載置する商品を撮像する。情報処理システム１０は、撮像による画像に対して物体認識を行い、画像中に含まれる物体が店舗におけるいずれの商品であるかを認識する。画像中の物体は、画像内に描画されている物体を意味する。情報処理システム１０は、載置された全商品の認識結果を、ネットワーク１３を介してサーバ１２に通知する。サーバ１２は認識結果に基づいて、請求金額を算出する。サーバ１２は、請求金額を情報処理システム１０に通知する。情報処理システム１０は、購入者に請求金額を提示し、購入金額の支払いを要求する。

図２に示すように、情報処理システム１０は、カメラ１４、反射部１５、および情報処理装置１７を含んで構成される。また、情報処理システム１０は、表示装置１６、載置台１８、および支持柱１９を更に含んで構成されてもよい。

カメラ１４は、載置台１８の全範囲を撮像可能に固定されている。カメラ１４は、例えば、載置台１８の側面から延びる支持柱１９に固定されている。カメラ１４は、例えば、載置台１８の上面ｕｓ全面を撮像可能、かつ当該上面ｕｓに光軸が垂直になるように固定されている。カメラ１４は、任意のフレームレートで連続的に撮像を行い、画像信号を生成する。

反射部１５は、カメラ１４の撮像範囲内の任意の位置に配置されている。反射部１５は、例えば、撮像範囲内の中央および端部などのいずれの位置に配置されていてもよい。単一の反射部１５が配置されてよく、複数の反射部１５が配置されてよい。本実施形態において、単一の反射部１５は、矩形の載置台１８の１辺に沿うように配置された状態で固定されている。反射部１５は、例えば、載置台１８の長手方向と同じ長さで、底面が直角二等辺三角形の三角柱である。反射部１５は、三角柱の２底面における頂点が載置台１８の同じ長辺上に位置し、三角柱の側面が載置台１８の上面ｕｓに対向するように配置されている。また、反射部１５の大きさは、載置台１８の大きさおよびカメラ１４の撮像範囲に応じて適宜最適なものに設定されてよい。

反射部１５では、反射面ｒｓがカメラ１４の光軸に対して傾斜している。本実施形態において、反射部１５では、底面における底辺に相当する側面に、アルミニウム、銀、またはクロムなどの金属材料などを被着することにより反射面ｒｓが形成されている。本実施形態において、反射面ｒｓは平坦状であるが、球面状、非球面状、および円筒側面状であってよく、凸状または凹状であってよい。

表示装置１６は、従来公知の任意のディスプレイである。表示装置１６は、情報処理装置１７から送信される画像信号に相当する画像を表示する。また、後述するように、表示装置１６は、タッチスクリーンとして機能してよい。

図３に示すように、情報処理装置１７は、通信部２０、入力部２１、記憶部２２、および制御部２３を含んで構成される。情報処理装置１７は、本実施形態において、カメラ１４、反射部１５、および表示装置１６とは別の装置として構成されているが、例えば、カメラ１４、反射部１５、載置台１８、支持柱１９、および表示装置１６の少なくともいずれかと一体的に構成されてもよい。

通信部２０は、例えば、有線または無線を含んで構成される通信線を介してカメラ１４と通信する通信モジュールを含む。通信部２０は、カメラ１４から画像信号を受信する。通信部２０は、通信線を介して表示装置１６と通信する通信モジュールを含む。通信部２０は、表示させる画像に相当する画像信号を表示装置１６に向けて送信する。通信部２０は、表示装置１６から表示面において接触を検知した位置に相当する位置信号を受信してよい。通信部２０は、ネットワーク１３を介してサーバ１２と通信する通信モジュールを含む。通信部２０は、後述する、確定した認識結果に相当する結果情報をサーバ１２に送信する。通信部２０は、サーバ１２から請求金額に相当する金額情報をサーバ１２から受信してよい。

入力部２１は、ユーザ入力を検出する１つ以上のインタフェースを含む。入力部２１は、例えば、物理キー、静電容量キー、および表示装置１６と一体的に設けられたタッチスクリーンを含んでよい。本実施形態においては、入力部２１はタッチスクリーンである。

記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部２２は、制御部２３を機能させる多様なプログラム、および制御部２３が用いる多様な情報を記憶する。

制御部２３は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部２３は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

制御部２３は、図４に示すように、カメラ１４から受信する画像信号に相当する画像ｉｍを、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2に分割する。第１部分画像ｉｍ_p1は、画像信号に相当する画像ｉｍの全領域における反射部１５が占める領域の画像である。第２部分画像ｉｍ_p2は、当該画像の全領域における反射部１５が占める領域以外の領域の画像である。

制御部２３は、以下に説明するように、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2に対して物体認識を行う。物体認識は、画像ｉｍ中の物体が何であるかを把握し、認識結果を作成することを意味する。制御部２３は、例えば、画像ｉｍ内で物体を検出し、当該検出した物体が何であるかの認識結果を作成してよい。本実施形態において、物体の画像ｉｍ内での検出とは、画像ｉｍ内の物体の存在を位置とともに個別に把握することを意味する。または、制御部２３は、例えば、画像ｉｍ内で物体を検出することなく直接物体認識を行うことにより認識結果を作成してよい。制御部２３は、物体認識により、例えば、載置台１８に載置されることにより、カメラ１４の撮像範囲内に位置する物体を認識する。

制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2に対して、例えば、バーコード検出、深層学習、パターンマッチング、および文字認識などの公知の認識方法によって、物体認識を行う。制御部２３は、物体認識により画像ｉｍ中の物体を仮認識するとともに、当該物体の仮の認識結果の信頼度を算出する。信頼度は、認識結果の正確性を示す指標である。

制御部２３は、例えば、以下に説明する第１の方式から第４の方式の何れかによって、物体の認識を行ってよい。なお、載置台１８に「おにぎり」と「ボトル入りのお茶」（以下において「お茶」と呼ぶ。）とが載置された状況に対して行われる物体認識を例として用いて、それぞれの方式による物体の認識を説明する。

第１の方式では、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の一方に対して物体認識を行う。本実施形態では、制御部２３は、第２部分画像ｉｍ_p2に対して物体認識を行う。制御部２３は、物体認識により物体毎に仮認識して、認識結果を仮の認識結果として作成する。制御部２３は、物体毎に付与される信頼度をそれぞれ閾値と比較する。制御部２３は、物体毎に付与される信頼度が全て閾値を超える場合、第２部分画像ｉｍ_p2に対する物体認識による全物体に対するそれぞれの仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の仮の認識結果が「おにぎり」および「お茶」であってそれぞれの信頼度が閾値を超える場合、仮の認識結果である「おにぎり」および「お茶」を、最終的な認識結果として確定する。

さらに第１の方式では、制御部２３は、第２部分画像ｉｍ_p2に対する物体認識による少なくとも一部の物体に対する信頼度が閾値以下である場合、他方の部分画像である第１部分画像ｉｍ_p1に対して物体認識を行う。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の仮の認識結果が「おにぎり」および「青汁」であって一方の信頼度が閾値以下である場合、第１部分画像ｉｍ_p1に対して物体認識を行う。

さらに第１の方式では、制御部２３は、第１部分画像ｉｍ_p1に対する物体認識による全物体の仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第１部分画像ｉｍ_p1で認識される２つの物体の仮の認識結果である「おにぎり」および「お茶」を、最終的な認識結果として確定する。

第２の方式では、制御部２３は、第１の方式と同じく、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の一方に対する物体認識、および全物体に対する信頼度の閾値との比較を行う。本実施形態では、制御部２３は、全物体の中で信頼度が閾値を超える物体に対して、一方の部分画像である第２部分画像ｉｍ_p2に対する物体認識による当該物体に対する認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の中の１つの物体の仮の認識結果が「おにぎり」であって、信頼度が閾値を超える場合、当該物体の仮の認識結果である「おにぎり」を、最終的な認識結果として確定する。

さらに第２の方式では、制御部２３は、第２部分画像ｉｍ_p2に対する物体認識による物体に対する信頼度が閾値以下である場合、第２部分画像ｉｍ_p2における当該物体と、第１部分画像ｉｍ_p1において認識される物体との対応付けを行う。制御部２３は、例えば、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれの特定の方向における同じ位置に位置する物体を同一の物体とみなして、対応付けてよい。制御部２３は、対応付けられた物体に関して、他方の部分画像である第１部分画像ｉｍ_p1に対する物体認識を行う。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の中の１つの物体の仮の認識結果が「青汁」であって、信頼度が閾値以下である場合、当該物体に対して第１部分画像ｉｍ_p1に対して物体認識を行う。

さらに第２の方式では、制御部２３は、第１部分画像ｉｍ_p1に対する物体認識による当該物体の仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍ_p2に対する物体認識により「青汁」という仮の認識結果が作成された物体に対して、第１部分画像ｉｍ_p1に対する物体認識による仮の認識結果である「お茶」を、最終的な認識結果として確定する。

上述の第１の方式および第２の方式では、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2のいずれを先に物体認識を行うかを、容易度に基づいて決定してよい。容易度は、物体認識される画像に対する、正確な認識結果を作成できる容易性を数値化して示す。

制御部２３は、容易度の算出のための、例えば、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにセグメンテーションを行い、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいてセグメンテーション領域を抽出する。セグメンテーション領域は、単一の物体とみなされる像が形成されている領域である。制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対して抽出するセグメンテーション領域の数を、容易度として算出してよい。セグメンテーション領域の数は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいて検出される物体の数と同等である。または、制御部２３は、第１部分画像ｉｍ_p1の大きさに対するセグメンテーション領域合計の大きさ、および第２部分画像ｉｍ_p2の大きさに対するセグメンテーション領域合計の大きさを、容易度として算出してよい。または、制御部２３は、第１部分画像ｉｍ_p1のセグメンテーション領域合計の大きさ、および第２部分画像ｉｍ_p2のセグメンテーション領域合計の大きさを、容易度として算出してよい。

制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の中で、算出した容易度が高い一方に対して、物体認識を行わせてよい。

第３の方式では、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対して物体認識を行う。制御部２３は、第１部分画像ｉｍ_p1において仮認識される物体と、第２部分画像ｉｍ_p2において仮認識される物体とを対応付ける。制御部２３は、例えば、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれの特定の方向における同じ位置に位置する物体を同一の物体とみなして、対応付けてよい。また、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに位置する物体のエッジを含む形状が同一である物体を同一の物体とみなして、対応付けてよい。制御部２３は、対応付けられる物体のそれぞれの仮の認識結果が一致する場合、当該物体の仮の認識結果を、最終的な認識結果として確定する。

さらに第３の方式では、制御部２３は、対応付けられる物体の仮の認識結果が異なる場合、それぞれの仮の認識結果を提示する。制御部２３は、例えば、仮の認識結果を示す画像を表示装置１６に表示することによって、仮の認識結果を使用者に提示してよい。制御部２３は、画像の表示を行う構成においては、当該画像に相当する画像信号を生成し、表示装置１６に送信するように、通信部２０を制御する。制御部２３は、例えば、音声による提示のように、画像の表示以外の方法によって仮の認識結果を提示してよい。制御部２３は、仮の認識結果の提示において、信頼度が大きい順番に提示してよい。制御部２３は、提示している仮の認識結果に対して、使用者による選択を入力部２１が検出するとき、選択された仮の認識結果を、最終的な認識結果として確定してよい。

例えば、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2での間で対応付けられている物体に対して、それぞれの物体認識による仮の認識結果が「お茶」および「青汁」である場合、認識結果である「お茶」および「青汁」を提示する。第１部分画像ｉｍ_p1における仮の認識結果である「お茶」の信頼度が、第２部分画像ｉｍ_p2における仮の認識結果である「青汁」の信頼度より大きい場合、仮の認識結果は、「お茶」および「青汁」の順番で提示される。

あるいは第３の方式において、制御部２３は、対応付けられる物体の仮の認識結果が異なり、且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を当該物体の最終的な認識結果として確定する。例えば、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2での間で対応付けられている物体に対して、それぞれの物体認識による仮の認識結果が「お茶」および「青汁」であり、それぞれの仮の認識結果の信頼度が閾値を超える場合、より信頼度の大きな仮の認識結果である「お茶」を、最終的な認識結果として確定する。

第４の方式では、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいて物体を検出する。制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいて検出される物体を対応付ける。制御部２３は、対応付けられた物体が第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいて検出される部分を抽出する。制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれから抽出した部分を組合わせて物体認識を行う。制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の部分的な組合わせに対する物体認識による物体の仮の認識結果を作成する。制御部２３は、作成する仮の認識結果を最終的な認識結果として確定する。

制御部２３は、確定した最終的な認識結果を示す情報を、サーバ１２に送信するように、通信部２０を制御する。制御部２３は、最終的な認識結果を示す情報の送信に対して、サーバ１２から請求金額を示す情報を受信するとき、当該請求金額をユーザに提示する。制御部２３は、例えば、当該請求金額の支払いを要求する画像を作成し、表示装置１６に表示させることにより、ユーザに提示してよい。

サーバ１２は、例えば、物理サーバ、またはクラウドサーバで構成されている。サーバ１２は、情報処理システム１０から送信される最終的な認識結果を示す情報に基づいて、当該情報処理システム１０における載置台１８に載置された物体を特定する。サーバ１２は、データベースから当該物体の販売価格を読出すことにより当該情報処理システム１０のユーザに対する請求金額を算出する。サーバ１２は、当該請求金額を示す情報を情報処理システム１０に送信する。

サーバ１２は、情報処理システム１０において物体認識に用いる、複数の特定の物体の画像、特徴量、表面に描画されている文字などの参照用データベースを有しており、当該参照用データベース内の参照用情報を情報処理システム１０に送信してよい。

次に、本実施形態において制御部２３が実行する、第１の方式による確定処理について、図５のフローチャートを用いて説明する。第１の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

ステップＳ１００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2に分割する。分割後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部２３は、ステップＳ１００において分割した第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれから、セグメンテーション領域を抽出する。抽出後、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部２３は、ステップＳ１０１において抽出したセグメンテーション領域に基づいて、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれの容易度を算出する。算出後、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の中で、ステップＳ１０２において算出した容易度の高い一方の部分画像を選択する。選択後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、制御部２３は、ステップＳ１０３において選択した一方の部分画像に対して物体認識を行う。制御部２３は、物体認識により仮認識される各物体の仮の認識結果の信頼度を算出する。物体認識後、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、制御部２３は、ステップＳ１０４において認識した全物体それぞれに対する信頼度が閾値を超えているか否かを判別する。全物体それぞれに対する信頼度が閾値を超えている場合、プロセスはステップＳ１０６に進む。少なくとも一部の物体に対する信頼度が閾値を超えていない場合、プロセスはステップＳ１０７に進む。

ステップＳ１０６では、制御部２３は、ステップＳ１０４において仮認識された全物体の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ１０９に進む。

ステップＳ１０７では、制御部２３は、ステップＳ１０３において選択された一方の部分画像に対する他方の部分画像に対して物体認識を行う。物体認識後、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、制御部２３は、ステップＳ１０８において物体認識により仮認識された全物体の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、制御部２３は、ステップＳ１０６またはステップＳ１０８において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第１の方式による確定処理は終了する。

次に、本実施形態において制御部２３が実行する、第２の方式による確定処理について、図６のフローチャートを用いて説明する。第２の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

ステップＳ２００からステップＳ２０６において、制御部２３は、第１の方式による確定処理のステップＳ１００からステップＳ１０６と同じ処理を行う。ステップＳ２０５において、少なくとも一部の物体に対する信頼度が閾値を超えていない場合に、プロセスはステップＳ２０７に進む。ステップＳ２０６において、確定後、プロセスはステップＳ２１０に進む。

ステップＳ２０７では、制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果である物体と、ステップＳ２０３において選択された一方の部分画像に対する他方の部分画像において認識される物体との対応付けを行う。対応付け後、プロセスはステップＳ２０８に進む。

ステップＳ２０８では、制御部２３は、ステップＳ２０７において対応付けられた物体に関して、ステップＳ２０３において選択された一方の部分画像に対する他方の部分画像に対する物体認識を行う。物体認識後、プロセスはステップＳ２０９に進む。

ステップＳ２０９では、制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果を、当該仮の認識結果の物体に対する最終的な認識結果として確定する。制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果である物体に対しては、ステップＳ２０８における物体認識による仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ２１０に進む。

ステップＳ２１０では、制御部２３は、ステップＳ２０６またはステップＳ２０９において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第２の方式による確定処理は終了する。

次に、本実施形態において制御部２３が実行する、第３の方式による確定処理について、図７のフローチャートを用いて説明する。第３の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

ステップＳ３００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2に分割する。分割後、プロセスはステップＳ３０１に進む。

ステップＳ３０１では、制御部２３は、ステップＳ３００において分割した第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対して物体認識を行う。物体認識後、プロセスはステップＳ３０２に進む。

ステップＳ３０２では、制御部２３は、ステップＳ３０１において物体認識により第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれで仮認識された各物体の対応付けを行う。対応付け後、プロセスはステップＳ３０３に進む。

ステップＳ３０３では、制御部２３は、ステップＳ３０２において対応付けられた全物体の中で、仮の認識結果が一致しているか否かを判別されていない物体を選択する。選択後、プロセスはステップＳ３０４に進む。

ステップＳ３０４では、制御部２３は、対応付けられている物体に関して、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対する物体認識による仮の認識結果が一致しているか否かを判別する。一致する場合、プロセスはステップＳ３０５に進む。一致しない場合、プロセスはステップＳ３０６に進む。

ステップＳ３０５では、制御部２３は、ステップＳ３０３において選択した物体に対する、ステップＳ３０１の物体認識の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ３１０に進む。

ステップＳ３０６では、制御部２３は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対する物体認識による仮の認識結果を、信頼度が高い順でユーザに提示する。提示後、プロセスはステップＳ３０７に進む。

ステップＳ３０７では、制御部２３は、提示した仮の認識結果のいずれかを選択するユーザ入力を検出しているか否かを判別する。検出されていない場合、プロセスはステップＳ３０７に戻る。検出されている場合、プロセスはステップＳ３０８に進む。

ステップＳ３０８では、制御部２３は、ステップＳ３０７において選択のユーザ入力が確認された仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ３０９に進む。

ステップＳ３０９では、制御部２３は、ステップＳ３０２において対応付けられている全物体に対して、仮の認識結果が一致しているかについての判別が行われているか否かを判別する。全物体に対して判別されていない場合、プロセスはステップＳ３０３に戻る。全物体に対して判別されている場合、プロセスはステップＳ３１０に進む。

ステップＳ３１０では、制御部２３は、ステップＳ３０５またはステップＳ３０８において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第３の方式による確定処理は終了する。

次に、本実施形態において制御部２３が実行する、第３の方式の変形例による確定処理について、図８のフローチャートを用いて説明する。第３の方式の変形例による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

ステップＳ４００からステップＳ４０５において、制御部２３は、第３の方式による確定処理のステップＳ３００からステップＳ３０５と同じ処理を行う。ステップＳ３０４において、対応付けられている物体に関して、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対する物体認識による仮の認識結果が一致する場合、プロセスはステップＳ４０６に進む。ステップＳ４０５において、確定後、プロセスはステップＳ４１２に進む。

ステップＳ４０６では、制御部２３は、ステップＳ４０３において選択される物体に関する、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対して行われた物体認識による仮の認識結果の信頼度の少なくとも一方が閾値を超えているか否かを判別する。超えている場合、プロセスはステップＳ４０７に進む。超えていない場合、プロセスはステップＳ４０８に進む。

ステップＳ４０７では、制御部２３は、ステップＳ４０３で選択される物体に対して、信頼度がより高い仮の認識結果を、最終的な認識結果として確定する。確定後、プロセスはステップＳ４１２に進む。

ステップＳ４０８からステップＳ４１２において、制御部２３は、第３の方式による確定処理のステップＳ３０６からステップＳ３１０と同じ処理を行う。ステップＳ４１２において、最終的な認識結果を示す情報の送信後、第３の方式の変形例による確定処理は終了する。

次に、本実施形態において制御部２３が実行する、第４の方式による確定処理について、図９のフローチャートを用いて説明する。第４の方式の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

ステップＳ５００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2に分割する。分割後、プロセスはステップＳ５０１に進む。

ステップＳ５０１では、制御部２３は、ステップＳ５００において分割した第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対して物体の検出を行う。物体検出後、プロセスはステップＳ５０２に進む。

ステップＳ５０２では、制御部２３は、ステップＳ５０１において第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれで検出された各物体の対応付けを行う。対応付け後、プロセスはステップＳ５０３に進む。

ステップＳ５０３では、制御部２３は、ステップＳ５０２において対応付けられた各物体の第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいて検出される部分を抽出する。制御部２３は、対応付けられている物体に対して抽出した部分を組合わせて、物体認識を行う。物体認識後、プロセスはステップＳ５０４に進む。

ステップＳ５０４では、制御部２３は、ステップＳ５０３において行った物体認識による仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ５０５に進む。

ステップＳ５０５では、制御部２３は、ステップＳ５０４において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第４の方式による確定処理は終了する。

以上のような構成の本実施形態の情報処理システム１０は、カメラ１４から受信する画像信号に相当する画像ｉｍの全領域における反射部１５が占める領域における第１部分画像ｉｍ_p1と、当該領域以外の領域における第２部分画像ｉｍ_p2とに対して、物体認識を行う。このような構成により、情報処理システム１０では、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2では、それぞれ異なる方向から見た同じ物体の像が含まれ得る。したがって、情報処理システム１０は、認識させる物体の姿勢を調整することなく、単一のカメラ１４であっても、複数の方向から見た物体の像を用いて物体認識を行い得る。その結果、情報処理システム１０は、簡潔な構成で物体の認識精度を向上させ得る。

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の一方に対して物体認識を行い、当該物体認識による物体の仮の認識結果の信頼度を算出し、当該信頼度が閾値を超える場合、当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、認識結果の正確性を示す指標である信頼度に基づいて認識結果を確定しているので、物体の認識精度をさらに向上させ得る。

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の一方に対して物体認識による少なくとも一部の物体に対する信頼度が閾値以下である場合、他方において物体認識を行い、当該物体認識による全物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、認識精度の低い認識結果である場合に、異なる方向から見た物体の物体認識が行われるので、認識精度の高さを維持した物体認識を行い得る。

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の一方に対して物体認識による物体に対する信頼度が閾値以下である場合、他方における当該物体を含む部分において物体認識を行い、当該物体認識により仮認識される当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、一方の部分画像の物体認識による認識結果が閾値以下の物体に対して、他方の部分画像を用いた物体認識が行われるので、認識精度をさらに向上させ得る。

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2における物体認識の容易度を算出し、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の中で容易度が高い一方に対して先に物体認識を行う。このような構成により、情報処理システム１０は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の両者に対する物体認識を行う可能性を低減し、処理負荷の低減および処理の迅速化に貢献し得る。

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれに対して物体認識を行い、第１部分画像ｉｍ_p1において仮認識される物体と第２部分画像ｉｍ_p2において仮認識される物体とを対応付け、対応付けられる物体のそれぞれの仮の認識結果が一致する場合に当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、物体の認識精度を一層向上させ得る。

また、本実施形態の情報処理システム１０は、対応付けられる物体のそれぞれの仮の認識結果が異なる場合、それぞれの仮の認識結果を提示する。仮の認識結果が異なる場合、それぞれの仮の認識結果は誤りである可能性がある。そこで、上述の構成により、情報処理システム１０は、仮の認識結果が確定されていない物体、および当該物体の仮の認識結果を候補として、ユーザに報知し得る。

また、本実施形態の情報処理システム１０は、それぞれの仮の認識結果に対するそれぞれの信頼度が大きな順番で、それぞれの仮の認識結果を提示する。このような構成により、情報処理システム１０は、仮の認識結果が確定されていない物体をユーザに迅速に特定させ得る。

また、本実施形態の情報処理システム１０は、対応付けられる物体のそれぞれの仮の認識結果が異なり且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を当該物体の認識結果として確定する。仮の認識結果が異なっている場合であっても、閾値を超えている仮の認識結果は正しい可能性が高い。そこで上述の構成により、情報処理システム１０は、可能な限り、ユーザに操作を要請することなく、自動的に物体認識を実行し得る。

また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいて物体を検出し、第１部分画像ｉｍ_p1において検出される物体と第２部分画像ｉｍ_p2において検出される物体とを対応付け、対応付けられる物体が第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2それぞれにおいて検出される部分を組合わせて物体認識を行い、当該物体認識による物体の仮の認識結果を確定する。認識対象である物体の複数の方向からの外観を用いる物体認識は、単一の方向からの外観を用いる物体認識より、一般的に認識精度は高い。したがって上述の構成により、情報処理システム１０は、認識精度をさらに向上させ得る。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、本実施形態では、情報処理システム１０は、図５、６に示すように、第１の方式および第２の方式において、容易度の算出を行い、当該容易度に基づいて第１部分画像ｉｍ_p1および第２部分画像ｉｍ_p2の一方から物体認識を行う構成であるが、容易度の算出を行うことなく、予め定められている一方から物体認識を行ってよい。

また、本実施形態では、情報処理システム１０は、レジ端末に含まれる構成であるが、適用対象はレジ端末に限定されない。例えば、情報処理システム１０は、倉庫などにおける在庫の確認、および不良品の検知などにおける物体認識に適用され得る。

１０ 情報処理システム
１１ 精算システム
１２ サーバ
１３ ネットワーク
１４ カメラ
１５ 反射部
１６ ディスプレイ
１７ 情報処理装置
１８ 載置台
１９ 支持柱
２０ 通信部
２１ 入力部
２２ 記憶部
２３ 制御部
ｉｍ 画像
ｉｍ_p1 第１部分画像
ｉｍ_p2 第２部分画像
ｒｓ 反射面
ｕｓ 上面

Claims (12)

1. 撮像により画像を生成する撮像部と、
   前記撮像部の撮像範囲内に配置され、前記撮像部の光軸に対して反射面が傾斜している反射部と、
   前記画像の内の前記反射部が占める領域における第１部分画像と、前記画像の内の前記反射部以外の領域である第２部分画像とのそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する情報処理装置と、を備える
   情報処理システム。
2. 請求項１に記載の情報処理システムにおいて、
   前記情報処理装置は、前記第１部分画像および前記第２部分画像の一方に対して物体認識を行い、該物体認識による物体の仮の認識結果の信頼度を算出し、該信頼度が閾値を超える場合、該物体の仮の認識結果を確定する
   情報処理システム。
3. 請求項２に記載の情報処理システムにおいて、
   前記情報処理装置は、前記物体認識による少なくとも一部の物体に対する前記信頼度が閾値以下である場合、他方において物体認識を行い、該物体認識による全物体の仮の認識結果を確定する
   情報処理システム。
4. 請求項２に記載の情報処理システムにおいて、
   前記情報処理装置は、前記物体認識による物体に対する前記信頼度が閾値以下である場合、他方における該物体を含む部分において物体認識を行い、該物体認識により仮認識される該物体の仮の認識結果を確定する
   情報処理システム。
5. 請求項２から４のいずれか１項に記載の情報処理システムにおいて、
   情報処理装置は、前記第１部分画像および前記第２部分画像における物体認識の容易度を算出し、前記第１部分画像および前記第２部分画像の中で前記容易度が高い一方に対して先に物体認識を行う
   情報処理システム。
6. 請求項１に記載の情報処理システムにおいて、
   前記情報処理装置は、前記第１部分画像および前記第２部分画像それぞれに対して物体認識を行い、前記第１部分画像において仮認識される物体と前記第２部分画像において仮認識される物体とを対応付け、対応付けられる物体のそれぞれの仮の認識結果が一致する場合に該物体の仮の認識結果を確定する
   情報処理システム。
7. 請求項６に記載の情報処理システムにおいて、
   前記情報処理装置は、対応付けられる物体のそれぞれの仮の認識結果が異なる場合、前記それぞれの仮の認識結果を提示する
   情報処理システム。
8. 請求項７に記載の情報処理システムにおいて、
   前記情報処理装置は、前記それぞれの仮の認識結果に対するそれぞれの信頼度が大きな順番で、前記それぞれの仮の認識結果を提示する
   情報処理システム。
9. 請求項６から８のいずれか１項に記載の情報処理システムにおいて、
   前記情報処理装置は、
   前記第１部分画像および前記第２部分画像に対する物体認識による物体毎の仮の認識結果の信頼度を算出し、
   対応付けられる物体のそれぞれの仮の認識結果が異なり且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を該物体の認識結果として確定する
   情報処理システム。
10. 請求項１に記載の情報処理システムにおいて、
    前記情報処理装置は、
    前記第１部分画像および前記第２部分画像それぞれにおいて物体を検出し、前記第１部分画像において検出される物体と前記第２部分画像において検出される物体とを対応付け、対応付けられる物体が前記第１部分画像および前記第２部分画像それぞれにおいて検出される部分を組合わせて物体認識を行い、該物体認識による物体の仮の認識結果を確定する
    情報処理システム。
11. 撮像部の光軸に対して反射面が傾斜している反射部を含む画像のデータを受信する通信部と、
    前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する制御部と、を備える
    情報処理装置。
12. コンピュータによって実行される情報処理方法であって、
    撮像部の光軸に対して反射面が傾斜している反射部を含む画像を取得し、
    前記画像の内、前記反射部が占める領域における第１部分画像と、前記画像の内、前記反射部以外の領域である第２部分画像のそれぞれに対して物体認識を行い、
    前記第１部分画像に含まれる物体の第１認識結果と前記第２部分画像に含まれる物体の第２認識結果が異なる場合、前記第１認識結果及び前記第２認識結果を提示する
    情報処理方法。

Images