JP2024149183A - 物品認識装置、登録システム及び情報処理プログラム - Google Patents

Abstract

【課題】 画像に映った物品を、当該の画像に基づいて精度よく特定可能とする。
【解決手段】 実施形態の物品認識装置は、選出手段、文字認識手段、絞込手段及び特定手段を含む。選出手段は、画像中に表れた物品の特徴に基づいて当該物品の候補物品を１つ又は複数選出する。文字認識手段は、物品に関して画像中に表れた文字を認識する。絞込手段は、選出手段により複数の候補物品が選出された場合に、当該複数の候補物品のうちからより少数の候補物品を、文字認識手段により認識された文字に基づいて絞り込む．特定手段は、選出手段により１つの候補物品が選出されたならば当該の候補物品として画像中に表れた物品を特定し、選出手段により複数の候補物品が選出された場合には絞込手段により絞り込まれた候補物品のうちの１つとして画像中に表れた物品を特定する。
【選択図】 図５

Description

本発明の実施形態は、物品認識装置、登録システム及び情報処理プログラムに関する。

陳列販売型の店舗において、購買者が買物カゴに入れた商品を、当該の買物カゴの内部を撮影した画像から認識して、購買予定の商品として自動的に登録するようにした登録システムは既に提案されている。
しかしながら、別々の複数の商品の外観が似ている場合があり、画像に表れた特徴からだけでは物品がどの商品であるかを絞り込むことが困難な場合があった。
このような事情から、画像に映った物品を、当該の画像に基づいて精度よく特定できることが望まれていた。

特許第６７４７８７３号公報

本発明が解決しようとする課題は、画像に映った物品を、当該の画像に基づいて精度よく特定できる物品認識装置、登録システム及び情報処理プログラムを提供することである。

実施形態の物品認識装置は、選出手段、文字認識手段、絞込手段及び特定手段を含む。選出手段は、画像中に表れた物品の特徴に基づいて当該物品の候補物品を１つ又は複数選出する。文字認識手段は、物品に関して画像中に表れた文字を認識する。絞込手段は、選出手段により複数の候補物品が選出された場合に、当該複数の候補物品のうちからより少数の候補物品を、文字認識手段により認識された文字に基づいて絞り込む．特定手段は、選出手段により１つの候補物品が選出されたならば当該の候補物品として画像中に表れた物品を特定し、選出手段により複数の候補物品が選出された場合には絞込手段により絞り込まれた候補物品のうちの１つとして画像中に表れた物品を特定する。

一実施形態に係る取引処理システムの概略構成と、カート端末の要部回路構成とを表すブロック図。 図１中の辞書データベースに含まれるデータレコードの１つの構成を模式的に表す図。 カートへの図１中のカート端末の取り付け状況の一例を表す斜視図。 登録処理のフローチャート。 商品特定処理のフローチャート。 文字列による絞り込みの対象となる商品の例を表す図。 選択画面の一例を表す図。 案内画面の一例を表す図。

以下、実施の形態の一例について図面を用いて説明する。
図１は本実施形態に係る取引処理システム１の概略構成と、カート端末１００の要部回路構成とを表すブロック図である。
取引処理システム１は、カート端末１００、会計機２００、ＰＯＳサーバ３００及びアテンダント端末４００を、通信ネットワーク２を介して通信可能として構成されている。

通信ネットワーク２は、インターネット、ＶＰＮ（virtual private network）、ＬＡＮ（local area network）、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。通信ネットワーク２としては、一例として、インターネット及び移動体通信網が組み合わせて用いられる。
なお、カート端末１００、会計機２００、ＰＯＳサーバ３００及びアテンダント端末４００は、それぞれ任意の数が取引処理システム１に含まれてよいが、図１では１台ずつのみを表している。

カート端末１００は、店舗に備え付けのショッピングカート（以下、カートと称する）に取り付けられる情報処理端末である。カート端末１００は、店舗で買物を行う客にカートとともに貸し出される。カート端末１００は、客による操作を受けて、客が購買を予定する商品を購買商品として登録するための登録処理を実行する端末装置である。カート端末１００は、後述するように、購買商品として登録する商品を画像に映った物体に関して認識する処理を実行する。つまりカート端末１００は、物品認識装置としての機能を備える。またカート端末１００は、後述するように、認識した商品を購買商品として登録する処理を実行する。つまりカート端末１００は、登録システムとしての機能を備える。

会計機２００は、店舗に設置され、カート端末１００により登録された購買商品の代金の決済に関わる会計処理を実行する。会計機２００は、会計処理に際して、操作者による操作を受ける。会計機２００の操作者は、主として客である。店員が会計機２００の操作者となる場合もある。
ＰＯＳサーバ３００は、カート端末１００における登録処理及び会計機２００における会計処理により処理される商品の売買取引を管理するための管理処理を実行する情報処理装置である。
アテンダント端末４００は、店員により操作される情報処理端末である。アテンダント端末４００は、取引処理システム１により処理される取引に関する店員の作業をサポートするための情報処理に関するユーザインタフェースのための端末装置である。店員の作業は例えば、処理中である取引の実施状況を監視し、適宜に客をサポートする作業である。

カート端末１００は、プロセッサ１０１、メイン記憶ユニット１０２、補助記憶ユニット１０３、タッチパネル１０４、インタフェースユニット１０５、無線通信ユニット１０６及び伝送路１０７等を備える。プロセッサ１０１と、メイン記憶ユニット１０２、補助記憶ユニット１０３、タッチパネル１０４、インタフェースユニット１０５及び無線通信ユニット１０６とは、伝送路１０７を介して通信可能とされている。

プロセッサ１０１、メイン記憶ユニット１０２及び補助記憶ユニット１０３を伝送路１０７で接続することによって、カート端末１００を制御するための情報処理を行うコンピュータを構成する。
プロセッサ１０１は、上記コンピュータの中枢部分に相当する。プロセッサ１０１は、オペレーティングシステム及びアプリケーションプログラムなどの情報処理プログラムに従って、カート端末１００としての各種の機能を実現するべく各部を制御するための情報処理を実行する。

メイン記憶ユニット１０２は、上記コンピュータの主記憶部分に相当する。メイン記憶ユニット１０２は、読み出し専用のメモリ領域と書き換え可能なメモリ領域とを含む。メイン記憶ユニット１０２は、読み出し専用のメモリ領域では上記の情報処理プログラムの一部を記憶する。またメイン記憶ユニット１０２は、プロセッサ１０１が各部を制御するための処理を実行する上で必要なデータを読み出し専用のメモリ領域又は書き換え可能なメモリ領域で記憶する場合もある。メイン記憶ユニット１０２は、書き換え可能なメモリ領域を、プロセッサ１０１によるワークエリアとして使用する。

補助記憶ユニット１０３は、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット１０３は、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ＨＤＤ（hard disc drive）、ＳＳＤ（solid state drive）、あるいはその他の周知の各種の記憶デバイスを利用できる。補助記憶ユニット１０３は、プロセッサ１０１が各種の処理を行う上で使用するデータと、プロセッサ１０１での処理によって生成されたデータとを記憶する。補助記憶ユニット１０３は、上記の情報処理プログラムを記憶する場合もある。補助記憶ユニット１０３は、本実施形態では、情報処理プログラムの１つであるカート端末プログラムＰＲＡを記憶する。カート端末プログラムＰＲＡは、登録処理の手順について記述されたアプリケーションプログラムである。補助記憶ユニット１０３の記憶領域の一部は、辞書データベースＤＢＡ及び取引データＤＡＡを記憶する領域として利用される。辞書データベースＤＢＡは、画像に映り込んでいる物品がどの商品であるかを識別するために参照する辞書データの集合である。取引データＤＡＡは、一取引の内容を表すデータである。

インタフェースユニット１０５は、カメラ１９９などの外付け装置が接続される。インタフェースユニット１０５は、接続された外付け装置とのデータの授受をインタフェースする。インタフェースユニット１０５としては、既存のＵＳＢ（universal serial bus）コントローラ等を利用できる。カメラ１９９は、カートに載置される買物カゴの内部空間の全体を包含する撮影範囲を撮影して画像を得る。そしてカメラ１９９は、撮影により得た画像を表した画像データを出力する。なおカメラ１９９は、撮影を一定周期で繰り返すのでも構わないし、プロセッサ１０１からの指示に応じて撮影を行うのでも構わない。

無線通信ユニット１０６は、通信ネットワーク２を介したデータ通信を無線で行うための通信処理を実行する。無線通信ユニット１０６としては、例えば無線ＬＡＮ用の既存の無線通信デバイスを用いることができる。なお、無線通信ユニット１０６に代えて、あるいは加えて、通信ネットワーク２に有線接続される通信ユニットが用いられてもよい。
伝送路１０７は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
カート端末１００の基本ハードウェアとしては、例えばタブレット型の情報処理装置のハードウェアを用いることが想定される。

図２は辞書データベースＤＢＡに含まれるデータレコードＲＥＡの１つの構成を模式的に表す図である。
辞書データベースＤＢＡは、カート端末１００が用いられる店舗で販売される商品のそれぞれに関連付けられたデータレコードＲＥＡの集合である。データレコードＲＥＡは、フィールドＦＡＡ，ＦＡＢ，ＦＡＣ，ＦＡＤを含む。フィールドＦＡＡには、関連付けられた商品の識別子としての商品コードがセットされる。フィールドＦＡＢには、関連付けられた商品の商品名がセットされる。フィールドＦＡＣには、関連付けられた商品を後述するオブジェクト認識処理により認識するために参照すべき複数の特徴点を含んだオブジェクト情報がセットされる。フィールドＦＡＤには、関連付けられた商品の外観に表されている複数の文字列をそれぞれ表す複数の文字列情報を含んだ文字情報がセットされる。

辞書データベースＤＢＡは、例えば取引処理システム１を店舗に導入するに際して、店舗での販売商品を考慮して、適宜の作業者により作成されて、当該店舗で使用されるカート端末１００の補助記憶ユニット１０３に書き込まれる。辞書データベースＤＢＡは、取引処理システム１の利用開始後においても、適宜のメンテナンス作業に際して、その作業者などにより適宜に更新される場合もある。

図３はカートへのカート端末１００の取り付け状況の一例を表す斜視図である。
カート９００は、キャスタ部９１０、ハンドルフレーム部９２０及び籠受部９３０を備えている。
キャスタ部９１０は、カート９００を床面上で円滑に移動させるための４つの車輪９１１を有する。車輪９１１は、フレーム９１２に対して、鉛直方向の軸周りで回転可能な状態で取り付けられている。

ハンドルフレーム部９２０は、一対の縦フレーム９２１，９２１及びハンドルバー９２２を含む。縦フレーム９２１，９２１は、キャスタ部９１０の２つの車輪の上方に立設される。ハンドルバー９２２は、縦フレーム９２１，９２１の上端を連結する。
籠受部９３０は、ハンドルフレーム部９２０の中途部位から水平に向けて設けられる。籠受部９３０は、商品を収容するための容器としての買物カゴＳＢを保持する。なお、キャスタ部９１０も、フレーム９１２の上に買物カゴＳＢを保持可能である。

カート９００を使用する客は、典型的には、ハンドルフレーム部９２０よりも図３中の手前側に位置する。そして客が、ハンドルバー９２２を握りながらカート９００を押す。つまりこの場合は、ハンドルフレーム部９２０に対して籠受部９３０が突出している向きがカート９００の前進方向となる。
ハンドルバー９２２の中途部に、カメラ１９９が、籠受部９３０により保持されている買物カゴＳＢの内部を上方から俯瞰的に撮影することができる状態で取り付けられている。また、一方の縦フレーム９２１に、その先端がハンドルバー９２２よりも上方に位置するようにポール９４０が取り付けられている。そして、このポール９４０の先端部に上述のカート端末１００が、タッチパネル１０４が前進方向の反対側を向く姿勢で取り付けられている。
ハンドルフレーム部９２０の下端側には、縦フレーム９２１，９２１の間にバッテリケース９５０が取り付けられている。バッテリケース９５０は、カート端末１００の外部電源として用いられるバッテリを収容する。

次に以上のように構成された取引処理システム１の動作について説明する。なお、以下に説明する各種の処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。例えば、以下の説明では、本実施形態の特徴的な動作を分かり易く説明するために、一部の処理についての説明を省略している。例えば、何らかのエラーが発生した場合に、そのエラーに対処するための処理が行われる場合があるが、そのような処理については記載を省略している。
客は、未使用状態となっているカート端末１００で、利用開始のための予め定められた操作を行う。この操作が行われるとプロセッサ１０１は、カート端末プログラムＰＲＡに基づく登録処理を開始する。

図４は登録処理のフローチャートである。
ＡＣＴ１１としてプロセッサ１０１は、対象の取引に関する新たな取引データＤＡＡを生成する。つまりプロセッサ１０１は例えば、他の取引を識別するための取引コードとは異なる新たな取引コードを予め定められたルールに従って決定し、この取引コードを含み、購買商品に関する商品情報は含まない新たな取引データＤＡＡを生成し、補助記憶ユニット１０３に記憶させる。

ＡＣＴ１２としてプロセッサ１０１は、画像の取得タイミングとなったか否かを確認する。そしてプロセッサ１０１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ１３へと進む。なお取得タイミングは例えば、ＡＣＴ１１からＡＣＴ１２へと進んだ直後のタイミングと、それ以降の一定の時間間隔毎のタイミングなどとすることが想定され、例えばカート端末プログラムＰＲＡの作成者などによって適宜に定められてよい。
ＡＣＴ１３としてプロセッサ１０１は、会計が要求されたか否かを確認する。そしてプロセッサ１０１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ１２へと戻る。
かくしてプロセッサ１０１は、ＡＣＴ１２及びＡＣＴ１３としては、取得タイミングとなるか、あるいは会計が要求されるのを待ち受ける。

プロセッサ１０１は、取得タイミングとなると、ＡＣＴ１２にてＹＥＳと判定し、ＡＣＴ１４へと進む。
ＡＣＴ１４としてプロセッサ１０１は、カメラ１９９が出力する画像データを取得する。プロセッサ１０１は例えば、カメラ１９９が一定周期で撮影を繰り返しているのであれば、カメラ１９９が最も新しく行った撮影に応じて出力する画像データを取得する。プロセッサ１０１は例えば、カメラ１９９がプロセッサ１０１からの指示に応じて撮影を行うのであれば、撮影をカメラ１９９に対して指示し、これに応じてカメラ１９９が撮影を行って出力する画像データを取得する。そしてプロセッサ１０１は、取得した画像データをメイン記憶ユニット１０２又は補助記憶ユニット１０３に保存する。

ＡＣＴ１５としてプロセッサ１０１は、商品が買物カゴＳＢに投入されたか否かを確認する。そしてプロセッサ１０１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ１６へと進む。
ＡＣＴ１６としてプロセッサ１０１は、商品が買物カゴＳＢから取り出されたか否かを確認する。そしてプロセッサ１０１は、該当の事象を確認できないならばＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。

ＡＣＴ１１からＡＣＴ１２へと進んだ直後のタイミングが最初の取得タイミングであるならば、ＡＣＴ１４を最初に実行することで取得される画像データが表す画像には買物カゴＳＢ以外の物品が映り込んでいない。このためプロセッサ１０１は、ＡＣＴ１５及びＡＣＴ１６を最初に実行する場合には、ＡＣＴ１５及びＡＣＴ１６のいずれでもＮＯと判定し、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻ることになる。そしてプロセッサ１０１は、取得タイミングとなる毎に、ＡＣＴ１４を繰り返すことになる。このときにプロセッサ１０１は、過去の予め定められた期間においてＡＣＴ１４を実行することにより取得してメイン記憶ユニット１０２又は補助記憶ユニット１０３に既に保存されている画像データ（以下、過去データと称する）は、そのままメイン記憶ユニット１０２又は補助記憶ユニット１０３に残す。

客は、店舗内で取引の対象とする商品を探す。そして客は、購買しようとする商品を売場から取り出し、買物カゴＳＢに入れる。
プロセッサ１０１は例えば、ＡＣＴ１４にて新たに取得した画像データ（以下、現在データと称する）と過去データとの差分に基づいて、買物カゴＳＢに新たに入れられた物品が存在するか否かを確認し、該当の物品が存在するならば投入されたとする。なおプロセッサ１０１は、現在データと複数の過去データとに基づいて、物品を把持した手の動きを監視して、その結果も踏まえて投入されたと判定するのでも構わない。そしてプロセッサ１０１は投入されたと判定できる事象を確認できたならば、ＡＣＴ１５にてＹＥＳと判定してＡＣＴ１７へと進む。

ＡＣＴ１７としてプロセッサ１０１は、今回買物カゴへと入れられた物品（以下、投入物品と称する）を検出する。プロセッサ１０１は例えば、現在データと過去データとの差分に基づき、過去データが表す画像には映り込んでおらず、現在データが表す画像には映り込んでいる物品として投入物品を検出する。当該の処理の手法としては、例えばＣＮＮ（convolutional neural network）を利用した深層学習のような周知の手法を用いることができる。
かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは検出手段として機能する。
ＡＣＴ１８としてプロセッサ１０１は、ＡＣＴ１７で検出した投入物品がどの商品であるかを特定するための商品特定処理を実行する。

図５は商品特定処理のフローチャートである。
ＡＣＴ３１としてプロセッサ１０１は、ＡＣＴ１７で検出した投入物品を対象としてオブジェクト認識処理を実行する。オブジェクト認識処理は、現在データが表す画像に含まれる投入物品の画像に表れる投入物品の外観の特徴を、辞書データベースＤＢＡの各データレコードＲＥＡに含まれるオブジェクト情報が表す特徴点と比較することによって、投入物品に一致すると考えられる商品を候補商品として選出する処理である。なお、このオブジェクト認識処理では、１つ又は複数の候補商品が選出される場合がある。またオブジェクト認識処理では、１つの候補商品も選出できない場合もある。オブジェクト認識処理における画像識別の手法としては、例えば特徴点マッチングなどの周知の手法を用いることができる。また画像識別の結果に応じて候補商品を選出する手法としては、例えばＣＮＮを利用した深層学習のような周知の手法を用いることができる。
かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは、候補物品としての候補商品を選出する選出手段として機能する。

ＡＣＴ３２としてプロセッサ１０１は、ＡＣＴ３１で選出した候補商品が１つであるか否かを確認する。そしてプロセッサ１０１は、ＡＣＴ３１にて複数の候補商品を選出しているか、あるいは１つの候補商品も選出できていないならば、候補商品が１つではないとしてＮＯと判定し、ＡＣＴ３３へと進む。
ＡＣＴ３３としてプロセッサ１０１は、ＡＣＴ３１で選出した候補商品が複数であるか否かを確認する。そしてプロセッサ１０１は、ＡＣＴ３１にて複数の候補商品を選出しているならばＹＥＳと判定し、ＡＣＴ３４へと進む。

ＡＣＴ３４としてプロセッサ１０１は、投入物品を対象として文字認識処理を実行する。つまりプロセッサ１０１は、現在データが表す画像に含まれる投入物品の画像に表れる文字を認識し、投入物品に表示されている文字列を抽出する。文字認識処理の具体的な手法は、例えばＣＮＮを利用した深層学習のような周知の手法を用いることができる。
かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは文字認識手段として機能する。

ＡＣＴ３５としてプロセッサ１０１は、ＡＣＴ３１で選出した複数の候補商品を、ＡＣＴ３４での文字認識処理の結果を考慮して絞り込む。例えばプロセッサ１０１は、辞書データベースＤＢＡにて複数の候補商品にそれぞれ関連付けられたデータレコードＲＥＡをみつけ出す。そしてプロセッサ１０１は例えば、該当のデータレコードＲＥＡのうちで、フィールドＦＡＤにセットされている文字情報に含まれる文字列情報が表す文字列のいずれかがＡＣＴ３４での文字認識処理により認識された文字列と一致するデータレコードＲＥＡを選び、そのデータレコードＲＥＡに関連付けられている商品を絞り込み後の候補商品とする。なおプロセッサ１０１は、フィールドＦＡＤにセットされている文字情報に含まれる文字列情報が表す文字列とＡＣＴ３４での文字認識処理により認識された文字列との一致数が各データレコードＲＥＡで異なるならば、一致数がより大きいデータレコードＲＥＡに関連付けられている商品を絞り込み後の候補商品とするのでも構わない。

図６は文字列による絞り込みの対象となる商品の例を表す図である。
例えば、図６に表すように、銘柄が同じで容量が異なる２つの商品ＣＯＡ，ＣＯＢが店舗で販売されているとする。銘柄が同じである異なる商品は、図６に表す例のようにパッケージデザインが共通しており、オブジェクト認識処理では識別しきれない場合がある。つまり、図６に表す商品ＣＯＡが買物カゴＳＢに入れられた場合におけるオブジェクト認識処理においては、商品ＣＯＡ，ＣＯＢのいずれもが候補商品とされ得る。そしてこのような場合には、例えば投入物品の画像から「３５０ｍＬ」なる文字列を文字認識処理により得ることができた場合には、候補商品は商品ＣＯＡに絞り込まれることになる。しかしながら、投入物品に表された「３５０ｍＬ」なる文字列が、客の手によって隠される等の事情によって画像に映り込んでいない場合には、候補商品を絞り込むことができないことになる。
かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは絞込手段として機能する。

ＡＣＴ３６としてプロセッサ１０１は、ＡＣＴ３５にて絞り込んだ後の候補商品が１つであるか否かを確認する。そしてプロセッサ１０１は、候補商品を１つに絞り込めていないならばＮＯと判定し、ＡＣＴ３７へと進む。
ＡＣＴ３７としてプロセッサ１０１は、選択画面をタッチパネル１０４に表示させる。選択画面は、複数の候補商品のうちの１つを客に選択させるためのＧＵＩ（graphical user interface）画面である。

図７は選択画面の一例を表す図である。
図７に表す選択画面は、図６に表す２つの商品ＣＯＡ，ＣＯＢが候補商品とされている場合の例である。
選択画面は、それぞれに別々の商品を割り付けるための４つのボタンＢＵＡ，ＢＵＢ，ＢＵＣ，ＢＵＤを含む。そして図７の例では、ボタンＢＵＡ，ＢＵＢに、商品ＣＯＡ，ＣＯＢがそれぞれ割り付けられている。ボタンＢＵＡ，ＢＵＢ，ＢＵＣ，ＢＵＤは、割り付けられている商品を客が指定するためのソフトキーである。

客は、選択画面が表示されたならば、買物カゴＳＢに入れた商品が割り付けられているボタンをタップすることによって、候補商品のうちの１つを指定する。
プロセッサ１０１は、選択画面を表示させた状態で、図５中のＡＣＴ３８へと進む。
ＡＣＴ３８としてプロセッサ１０１は、候補商品のうちの１つが指定されるのを待ち受ける。そしてプロセッサ１０１は、上記のような操作により商品が指定されたならばＹＥＳと判定し、ＡＣＴ３９へと進む。

ＡＣＴ３９としてプロセッサ１０１は、指定された商品のみを候補商品として設定する。
つまりプロセッサ１０１は、複数の候補商品のうちの１つを指定する操作を選択画面にて受け付けている。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは操作受け手段として機能する。

一方、ＡＣＴ３１のオブジェクト認識処理により候補商品を１つも選出できなかった場合には、プロセッサ１０１はＡＣＴ３３にてＮＯと判定し、ＡＣＴ４０へと進む。
ＡＣＴ４０としてプロセッサ１０１は、案内画面をタッチパネル１０４に表示させる。案内画面は、直前に買物カゴＳＢに入れた商品に表示されているバーコード（以下、商品バーコードと称する）をカメラ１９９に翳すように客に案内するための画面である。

図８は案内画面の一例を表す図である。
図８に表す案内画面は、エリアＡＲＡを含む。プロセッサ１０１は、このエリアＡＲＡには、カメラ１９９が出力する画像データを取得して、当該画像データが表す画像を表示する。
プロセッサ１０１は、案内画面を表示させた状態で、図５中のＡＣＴ４１へと進む。

ＡＣＴ４１としてプロセッサ１０１は、画像の取得タイミングとなるのを待ち受ける。そしてプロセッサ１０１は、取得タイミングとなったならばＹＥＳと判定し、ＡＣＴ４２へと進む。なお取得タイミングは例えば、一定の時間間隔毎のタイミングなどとすることが想定され、例えばカート端末プログラムＰＲＡの作成者などによって適宜に定められてよい。

ＡＣＴ４２としてプロセッサ１０１は、カメラ１９９が出力する画像データを取得する。なお、このときにプロセッサ１０１は、ここで新たに取得した画像データが表す画像をエリアＡＲＡに表示する。これにより客が、当該エリアＡＲＡに表示される画像により、カメラ１９９の画像にバーコードが映り込む様子を確認しながら、商品をカメラ１９９に翳すことを容易とする。

ＡＣＴ４３としてプロセッサ１０１は、ＡＣＴ４２で取得した画像データを対象として商品バーコード抽出処理を行う。つまりプロセッサ１０１は、ＡＣＴ４２で取得した画像データが表す画像に映り込んでいる商品バーコードを検出し、商品バーコードが検出できたならば当該商品バーコードを抽出する。

ＡＣＴ４４としてプロセッサ１０１は、ＡＣＴ４３にて商品バーコードが抽出できたか否かを確認する。プロセッサ１０１は、商品バーコードが映り込むように商品が適正にカメラ１９９に翳されていない状況にあっては、ＡＣＴ４３にて商品バーコードを抽出できない。プロセッサ１０１は、そのような場合にはＡＣＴ４４にてＮＯと判定し、ＡＣＴ４１の待ち受け状態に戻り、ＡＣＴ４３にて商品バーコードが抽出できるまで、ＡＣＴ４１～ＡＣＴ４４を繰り返す。そしてプロセッサ１０１は、ＡＣＴ４３にて商品バーコードが抽出できたならば、ＡＣＴ４４にてＹＥＳと判定し、ＡＣＴ４５へと進む。

ＡＣＴ４５としてプロセッサ１０１は、上記の抽出した商品バーコードが表す商品コードで識別される商品を候補商品として設定する。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは、バーコードに基づいて１つの候補物品としての候補商品を判定する判定手段として機能する。

プロセッサ１０１は、以上のようにＡＣＴ３９又はＡＣＴ４５にて１つの商品を候補商品として設定し終えたならば、商品特定処理を終了する。なおプロセッサ１０１は、ＡＣＴ３１で選出した候補商品が１つであるならばＡＣＴ３２にてＹＥＳと判定し、ＡＣＴ３３以降の処理をパスして、そのまま商品特定処理を終了する。またプロセッサ１０１は、ＡＣＴ３５にて絞り込んだ後の候補商品が１つであるならばＡＣＴ３６にてＹＥＳと判定し、ＡＣＴ３７以降の処理をパスして、そのまま商品特定処理を終了する。つまりプロセッサ１０１は、１つのみの候補商品を特定した状態で商品特定処理を終了する。プロセッサ１０１は、このようにして図４中のＡＣＴ１８としての商品特定処理を終了すると、ＡＣＴ１９へと進む。

このようにプロセッサ１０１は、ＡＣＴ３５を経た場合には、文字認識処理により認識された文字に基づいて絞り込んだ候補商品の１つとして物品としての商品を特定することになる。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは特定手段として機能する。

ＡＣＴ１９としてプロセッサ１０１は、商品特定処理によって特定されている１つの候補商品を購買商品として登録する。つまりプロセッサ１０１は例えば、商品特定処理によって特定されている１つの候補商品の商品コードを購買商品の商品コードとして含むように取引データを更新する。そしてプロセッサ１０１はこののち、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは登録手段として機能する。

客は、一旦は買物カゴＳＢに入れた商品の購買を取り止めるならば、該当の商品を買物カゴＳＢから取り出して売場に戻す。
プロセッサ１０１は例えば、ＡＣＴ１４にて新たに取得した現在データと過去データとの差分に基づいて、買物カゴＳＢにから物品が無くなったか否かを確認し、物品が無くなったことが確認できたならば取り出しと判定する。なおプロセッサ１０１は、現在データと複数の過去データとに基づいて、物品を把持した手の動きを監視して、その結果も踏まえて取り出しと判定するのでも構わない。そしてプロセッサ１０１は取り出しと判定したならば、ＡＣＴ１６にてＹＥＳと判定してＡＣＴ２０へと進む。

ＡＣＴ２０としてプロセッサ１０１は、買物カゴＳＢから取り出された物品（以下、取出物品と称する）を検出する。プロセッサ１０１は例えば、現在データと過去データとの差分に基づき、過去データが表す画像に映り込んでおり、現在データが表す画像には映り込んでいない物品として取出物品を検出する。当該の処理の手法としては、例えばＣＮＮを利用した深層学習のような周知の手法を用いることができる。

ＡＣＴ２１としてプロセッサ１０１は、ＡＣＴ２１で検出した取出物品がどの商品であるかを特定するための商品特定処理を実行する。ここでの商品特定処理は、ＡＣＴ１８と同様に図５に表す処理である。
ＡＣＴ２２としてプロセッサ１０１は、商品特定処理によって特定されている１つの候補商品を購買商品から除外する。つまりプロセッサ１０１は例えば、商品特定処理によって特定されている１つの候補商品の商品コードに関する数量を１つ減じるように取引データを更新する。そしてプロセッサ１０１はこののち、ＡＣＴ１２及びＡＣＴ１３の待ち受け状態に戻る。かくしてカート端末プログラムＰＲＡに基づく情報処理をプロセッサ１０１が実行することによって、プロセッサ１０１を中枢部分とするコンピュータは取消手段として機能する。

客は、購買商品の登録を終えたならば、会計の開始を指示するための予め定められた操作を例えばタッチパネル１０４にて行う。これに応じてプロセッサ１０１は、ＡＣＴ１３にてＹＥＳと判定し、会計処理へと進む。会計処理は、例えば既存のカートＰＯＳシステムで行われているのと同様の処理であってよく、その図示は省略する。例えばプロセッサ１０１は、取引データを会計機２００に受け渡すための処理を会計処理として行う。あるいは、カート９００に図示しない決済端末が取り付けられ、当該決済端末がカート端末１００に接続されているならば、この決済端末を用いてのクレジット決済やコード決済などを行うための処理を会計処理として行うのでも構わない。

以上のようにカート端末１００は、オブジェクト認識処理により候補商品を１つに絞り込むことができない場合には、文字認識処理により得られた文字に基づいて候補商品を絞り込み、このように絞り込んだ候補商品の１つとして買物カゴＳＢに入れられた商品を特定する。これにより、買物カゴＳＢに入れられることにより画像に映った物品を、当該の画像に基づいて精度よく特定できる。

またカート端末１００は、選択画面における客の指示に応じて複数の候補商品のうちの１つとして買物カゴＳＢに入れられた商品を特定するので、文字に基づいて候補商品を１つに絞り込めなかった場合でも、買物カゴＳＢに入れられた商品を特定できる。なお、この場合には客による指定操作が必要となるが、文字に基づく絞り込みにより候補商品の数を少なくすることができるので、候補商品のうちの１つを指定するための客の負担は小さい。

またカート端末１００は、オブジェクト認識処理により候補商品を１つも選出できなかった場合には、買物カゴＳＢに入れられた商品をバーコードに基づいて特定する。これにより、オブジェクト認識に失敗した場合でも、買物カゴＳＢに入れられた商品を特定できる。

またカート端末１００は、買物カゴＳＢに入れられたとして特定した商品を購買商品として登録する。これにより、取引処理システム１を、陳列販売型の店舗において購買者が買物カゴに投入した商品を、当該の買物カゴを撮影した画像から認識して、購買商品として精度良く自動的に登録できる登録システムとしての機能を備えるものとして実現可能である。

この実施形態は、次のような種々の変形実施が可能である。
商品以外の物品の認識を行うのでも構わない。

物品の認識結果は、取引処理のための購買登録には限らず、どのような用途で用いるのでも構わない。

上記の実施形態においてプロセッサ１０１が実行している処理の一部を、ＰＯＳサーバ３００、あるいはその他の任意の１又は複数の情報処理装置にて実行するのでも構わない。例えば、カート端末１００では、ユーザインタフェース動作のみを行い、購買商品の特定のための諸々の情報処理はＰＯＳサーバ３００に備えられたコンピュータにより実行されるのでも構わない。つまり、選出手段、文字認識手段、絞込手段、特定手段、操作受け手段、判定手段及び登録手段のそれぞれは、取引処理システム１に含まれるカート端末１００以外の任意の情報処理装置に備えられても構わないし、取引処理システム１に含まれる複数の情報処理装置に適宜に分散して設けられていても構わない。

情報処理によりプロセッサ１０１が実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…取引処理システム、２…通信ネットワーク、１００…カート端末、１０１…プロセッサ、１０２…メイン記憶ユニット、１０３…補助記憶ユニット、１０４…タッチパネル、１０５…インタフェースユニット、１０６…無線通信ユニット、１０７…伝送路、１９９…カメラ、２００…会計機、３００…ＰＯＳサーバ、４００…アテンダント端末、９００…カート。

Claims (6)

1. 画像中に表れた物品の特徴に基づいて当該物品の候補物品を１つ又は複数選出する選出手段と、
   前記物品に関して前記画像中に表れた文字を認識する文字認識手段と、
   前記選出手段により複数の候補物品が選出された場合に、当該複数の候補物品のうちからより少数の候補物品を、前記文字認識手段により認識された文字に基づいて絞り込む絞込手段と、
   前記選出手段により１つの候補物品が選出されたならば当該の候補物品として前記画像中に表れた物品を特定し、前記選出手段により複数の候補物品が選出された場合には前記絞込手段により絞り込まれた候補物品のうちの１つとして前記画像中に表れた物品を特定する特定手段と、
   を具備した物品認識装置。
2. 前記絞込手段により絞り込まれた候補物品が複数である場合に、それら複数の候補物品のうちの１つを指定する操作を受ける操作受け手段、をさらに備え、
   前記特定手段は、前記操作受け手段により受けられた操作により指定された候補物品として前記画像中に表れた物品を特定する、
   請求項１に記載の物品認識装置。
3. バーコードに基づいて１つの候補物品を判定する判定手段、をさらに備え、
   前記特定手段は、前記選出手段により候補物品が１つも選出されなかった場合に、前記判定手段により判定された候補物品として前記画像中に表れた物品を特定する、
   請求項１に記載の物品認識装置。
4. 購買者が購買を予定する商品を収容する容器に物品が投入された場合に、前記容器を撮影して得られた画像中から前記容器に投入された物品を検出する検出手段と、
   前記検出手段により検出された物品に関して画像中に表れた特徴に基づいて当該物品の候補物品を１つ又は複数選出する選出手段と、
   前記物品に関して前記画像中に表れた文字を認識する文字認識手段と、
   前記選出手段により複数の候補物品が選出された場合に、当該複数の候補物品のうちからより少数の候補物品を、前記文字認識手段により認識された文字に基づいて絞り込む絞込手段と、
   前記選出手段により１つの候補物品が選出されたならば当該の候補物品として前記画像中に表れた物品を特定し、前記選出手段により複数の候補物品が選出された場合には前記絞込手段により絞り込まれた候補物品のうちの１つとして前記画像中に表れた物品を特定する特定手段と、
   前記検出手段により前記容器に投入された物品が検出された場合に、前記特定手段により特定された物品を購買予定の商品として登録する登録手段と、
   を具備した登録システム。
5. 前記検出手段は、前記容器から物品が取り出された場合に、当該取り出しの前に前記容器を撮影して得られた画像から当該の取り出された物品を検出し、
   前記検出手段により前記容器から取り出された物品が検出された場合に、前記特定手段により特定された物品を購買予定の商品から除外する取消手段、
   をさらに備える請求項４に記載の登録システム。
6. 物品認識装置に備えられたコンピュータを、
   画像中に表れた物品の特徴に基づいて当該物品の候補物品を１つ又は複数選出する選出手段と、
   前記物品に関して前記画像中に表れた文字を認識する文字認識手段と、
   前記選出手段により複数の候補物品が選出された場合に、当該複数の候補物品のうちからより少数の候補物品を、前記文字認識手段により認識された文字に基づいて絞り込む絞込手段と、
   前記選出手段により１つの候補物品が選出されたならば当該の候補物品として前記画像中に表れた物品を特定し、前記選出手段により複数の候補物品が選出された場合には前記絞込手段により絞り込まれた候補物品のうちの１つとして前記画像中に表れた物品を特定する特定手段と、
   して機能させるための情報処理プログラム。