JP2019121904A

JP2019121904A - Suspicious person detection apparatus, suspicious person detection method and suspicious person detection computer program

Info

Publication number: JP2019121904A
Application number: JP2018000288A
Authority: JP
Inventors: 健太郎辻; Kentaro Tsuji; 瀬川　英吾; Eigo Segawa; 英吾瀬川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2018-01-04
Filing date: 2018-01-04
Publication date: 2019-07-22
Anticipated expiration: 2038-01-04
Also published as: JP7069725B2

Abstract

【課題】不自然な行動を取る不審者を検出することが可能な不審者検出装置を提供する。【解決手段】不審者検出装置は、撮像部２により得られた時系列の複数の画像のそれぞれから人物が表された領域を検出する人物検出部１１と、複数の画像のそれぞれから検出された人物領域に表された人物の顔の向きを推定する顔向き推定部１２と、複数の画像のそれぞれにおける人物領域に基づいて人物を追跡することで、その人物の移動方向を推定する移動方向推定部１３と、複数の画像のそれぞれにおける人物の顔の向きから、その人物の顔がその人物の移動方向以外にある注視位置を向いている注視時間が時間長閾値以上となる場合にその人物を不審者と判定する不審者判定部１５とを有する。【選択図】図２PROBLEM TO BE SOLVED: To provide a suspicious person detection device capable of detecting a suspicious person who behaves unnaturally. A suspicious person detection device is detected from a person detection unit 11 that detects a region in which a person is represented from each of a plurality of time-series images obtained by an imaging unit 2, and from each of the plurality of images. The face orientation estimation unit 12 that estimates the orientation of the face of the person represented in the person area, and the movement direction estimation that estimates the movement direction of the person by tracking the person based on the person area in each of the plurality of images. From the orientation of the person's face in each of the unit 13 and the plurality of images, when the gaze time at which the person's face is facing a gaze position other than the movement direction of the person is equal to or longer than the time length threshold, the person is assigned. It has a suspicious person determination unit 15 for determining a suspicious person. [Selection diagram] Fig. 2

Description

本発明は、例えば、画像に基づいて不審者を検出する不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラムに関する。 The present invention relates to, for example, a suspicious person detection device for detecting a suspicious person based on an image, a suspicious person detection method, and a computer program for detecting a suspicious person.

防犯などの目的のために、店舗などの建物内に監視カメラが設置されることがある。このような監視カメラにより得られた画像に基づいて、不審者らしき人物を検出する技術が研究されている（例えば、特許文献１及び２を参照）。例えば、監視画像から検出された人物について、撮像部に対して顔を背けた状態を不審行動と判定し、不審行動と判定された回数に基づきその人物を不審人物と判定する技術が提案されている。また、監視画像から検出された接近者について、監視対象への接近頻度、接近時間、接近距離などに基づいて接近者の不審度を判定し、不審度に基づいて、接近者が不審者であるか否かを判定する技術が提案されている。 A surveillance camera may be installed in a building such as a store for the purpose of crime prevention. A technique for detecting a suspicious person or the like based on an image obtained by such a surveillance camera has been studied (see, for example, Patent Documents 1 and 2). For example, with regard to a person detected from a monitoring image, there is proposed a technique for determining a state in which the face is turned against the imaging unit as a suspicious activity and determining the person as a suspicious person based on the number of times determined as a suspicious activity. There is. In addition, for the approaching person detected from the monitoring image, the suspiciousness degree of the approaching person is determined based on the approaching frequency to the monitored object, the approaching time, the approaching distance, etc., and the approaching person is a suspicious person based on the suspiciousness degree. A technique has been proposed to determine whether or not.

特開２００９−２３７９９３号公報JP, 2009-237993, A 特開２００６−２５９８２８号公報Unexamined-Japanese-Patent No. 2006-259828

しかしながら、店舗においては、監視カメラは、天井など、商品が配置されている位置と異なる位置に設置されることがある。このような場合、不審者に限らず一般の買い物客も、監視カメラの方を向かないので、監視カメラにより生成された画像から検出された人物が、不審者か否かを識別できないことがある。 However, in a store, the surveillance camera may be installed at a position different from the position at which the product is arranged, such as a ceiling. In such a case, not only a suspicious person but also a general shopper does not turn to the surveillance camera, so it may not be possible to identify whether a person detected from an image generated by the surveillance camera is a suspicious person or not .

また、一般に、店舗では、様々な場所に商品が配置される。そのため、様々な商品の中から購入する商品を決定しようとする一般の客も、特定の商品に対して接近を繰り返すことがある。その結果として、接近頻度などに基づいて、接近者が不審者か否かを正確に判定することが困難なことがある。 Also, in general, in a store, products are placed in various places. Therefore, a general customer who tries to decide which item to purchase out of various items may repeat approach to a specific item. As a result, it may be difficult to accurately determine whether the approaching person is a suspicious person based on the approach frequency or the like.

一つの側面では、本発明は、不自然な行動を取る不審者を検出することが可能な不審者検出装置を提供することを目的とする。 In one aspect, the present invention aims to provide a suspicious person detection device capable of detecting a suspicious person who takes unnatural behavior.

一つの実施形態によれば、不審者検出装置が提供される。この不審者検出装置は、撮像部により得られた時系列の複数の画像のそれぞれから人物が表された領域を検出する人物検出部と、複数の画像のそれぞれから検出された人物領域に表された人物の顔の向きを推定する顔向き推定部と、複数の画像のそれぞれにおける人物領域に基づいて人物を追跡することで、その人物の移動方向を推定する移動方向推定部と、複数の画像のそれぞれにおける人物の顔の向きから、その人物の顔がその人物の移動方向以外にある注視位置を向いている注視時間が時間長閾値以上となる場合にその人物を不審者と判定する不審者判定部とを有する。 According to one embodiment, a suspicious person detection device is provided. The suspicious person detection device is represented in a person detection unit that detects an area in which a person is represented from each of a plurality of time-series images obtained by the imaging unit, and a person area detected from each of the plurality of images. A face direction estimation unit that estimates the direction of the face of the person, a movement direction estimation unit that estimates the movement direction of the person by tracking the person based on the person regions in each of the plurality of images; A suspicious person who determines that a person is a suspicious person if the gaze time at which the face of the person faces the gaze position other than the movement direction of the person is equal to or greater than the time length threshold from the face direction of the person in each of And a determination unit.

一つの側面によれば、不自然な行動を取る不審者を検出することができる。 According to one aspect, it is possible to detect a suspicious person who takes an unnatural action.

一つの実施形態による、不審者検出装置のハードウェア構成図である。It is a hardware block diagram of a suspicious person detection device by one embodiment. 不審者検出処理に関するプロセッサの機能ブロック図である。It is a functional block diagram of a processor about suspicious person detection processing. 追跡テーブルの一例を示す図である。It is a figure which shows an example of a tracking table. 追跡中の人物について、各撮影時刻における、その人物の顔の向きを表す方程式の一例を示す図である。It is a figure which shows an example of the equation showing the direction of the face of the person in each photography time about the person under tracking. 注視位置の検出の概要の説明図である。It is explanatory drawing of the outline | summary of detection of a gaze position. 不審者検出処理の動作フローチャートである。It is an operation | movement flowchart of a suspicious person detection process.

以下、図を参照しつつ、不審者検出装置、及び、その不審者検出装置で利用される不審者検出方法及び不審者検出用コンピュータプログラムについて説明する。この不審者検出装置は、例えば、店舗といった建物内に設置された監視カメラが撮影することで得られた時系列の一連の画像から検出された人物が不審者か否かを判定する。 Hereinafter, a suspicious person detection device, a suspicious person detection method used by the suspicious person detection device, and a computer program for detecting a suspicious person will be described with reference to the drawings. The suspicious person detection device determines, for example, whether or not a person detected from a series of time-series images obtained by photographing by a monitoring camera installed in a building such as a store is a suspicious person.

発明者は、一般に、人は移動方向に顔を向けて移動すること、人が店舗の客である場合、その人は、購入する商品が配置されている場所を探すとき、短時間で様々な場所を眺め、さらに、興味がある商品の前では立ち止まるといった行動を取ることに着目した。
そこで、この不審者検出装置は、監視カメラにより得られた時系列の一連の画像から検出された人物の移動方向、移動速度及び顔の向きに基づいて、検出された人物が一般的な人の行動と異なる行動を取るか否かを判定する。そしてこの不審者検出装置は、検出された人物が一般的な人の行動と異なる不自然な行動を取ったと判定した場合に、その人物を不審者と判定する。 Inventors generally, that a person moves face to face in the direction of movement, and if the person is a customer of the store, that person will vary in a short time when looking for a place where the goods to be purchased are located We focused on looking at places and taking actions such as stopping in front of products of interest.
Therefore, in this suspicious person detection device, the person detected is a person whose general detection is based on the movement direction, movement speed, and face direction of the person detected from a series of time-series images obtained by the monitoring camera. Determine whether to take an action different from the action. Then, when it is determined that the detected person has taken an unnatural action different from the action of a general person, the suspicious person detection device determines that the person is a suspicious person.

図１は、一つの実施形態による、不審者検出装置のハードウェア構成図である。図１に示されるように、不審者検出装置１は、監視カメラ２と、通信インターフェース３と、ユーザインターフェース４と、メモリ５と、記憶媒体アクセス装置６と、プロセッサ７とを有する。本実施形態では、不審者検出装置１は、小売店などの店舗に設置され、設置された店舗において不審者を検出するために用いられる。通信インターフェース３、ユーザインターフェース４、メモリ５、記憶媒体アクセス装置６及びプロセッサ７は、例えば、不審者検出装置本体内に収容され、通信ネットワークを介して監視カメラ２と通信可能に接続される。なお、監視カメラ２と、不審者検出装置本体とは、同一の建物内に設置されてもよく、あるいは、互いに異なる建物内に設置されてもよい。 FIG. 1 is a hardware block diagram of a suspicious person detection device according to one embodiment. As shown in FIG. 1, the suspicious person detection device 1 includes a monitoring camera 2, a communication interface 3, a user interface 4, a memory 5, a storage medium access device 6, and a processor 7. In the present embodiment, the suspicious person detection device 1 is installed in a store such as a retail store, and used to detect a suspicious person in the installed store. The communication interface 3, the user interface 4, the memory 5, the storage medium access device 6 and the processor 7 are housed, for example, in the suspicious person detection device main body, and are communicably connected to the surveillance camera 2 via a communication network. The monitoring camera 2 and the suspicious person detection device main body may be installed in the same building, or may be installed in different buildings.

監視カメラ２は、撮像部の一例であり、例えば、店舗内の天井に斜め下方を向くように取り付けられる。そして監視カメラ２は、店舗内の所定の撮影範囲を撮影し、その撮影範囲が写った画像を生成する。そのために、監視カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する固体撮像素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影範囲の像を結像する結像光学系とを有する。監視カメラ２は、一定のフレームレート（例えば1/30秒）ごとに撮影範囲を撮影することで画像を生成する。そして監視カメラ２は、画像を生成する度に、その画像及びその画像の撮影時刻を、通信ネットワークを介して、通信インターフェース３へ出力する。
本実施形態では、監視カメラ２により生成される画像は、各画素の値が輝度値で表されるモノクロ画像である。しかし、監視カメラ２により生成される画像は、各画素の値がRGB色空間または他の色空間（例えば、HLS色空間あるいはYPbPr色空間）の値で表されるカラー画像であってもよい。 The monitoring camera 2 is an example of an imaging unit, and is attached to, for example, a ceiling in a store so as to face obliquely downward. And surveillance camera 2 picturizes the predetermined photography range in a store, and generates the picture in which the photography range was reflected. To that end, the monitoring camera 2 forms an image of the imaging range on a two-dimensional detector composed of an array of solid-state imaging devices sensitive to visible light, such as a CCD or C-MOS, and the two-dimensional detector. And an imaging optical system. The surveillance camera 2 generates an image by shooting a shooting range at a constant frame rate (for example, 1/30 seconds). Then, each time the monitoring camera 2 generates an image, the monitoring camera 2 outputs the image and the photographing time of the image to the communication interface 3 via the communication network.
In the present embodiment, the image generated by the monitoring camera 2 is a monochrome image in which the value of each pixel is represented by a luminance value. However, the image generated by the surveillance camera 2 may be a color image in which the value of each pixel is represented by a value of RGB color space or another color space (for example, HLS color space or YPbPr color space).

通信インターフェース３は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース３は、通信ネットワークを介して監視カメラ２から画像を受け取り、その受け取った画像をプロセッサ７にわたす。また通信インターフェース３は、プロセッサ７から受け取った、検出された不審者を表す情報を、通信ネットワークを介して他の機器（図示せず）へ出力してもよい。 The communication interface 3 includes a communication interface for connecting to a communication network conforming to a communication standard such as Ethernet (registered trademark) and a control circuit therefor. The communication interface 3 receives an image from the surveillance camera 2 via the communication network and passes the received image to the processor 7. The communication interface 3 may also output the information representing the detected suspicious person received from the processor 7 to another device (not shown) via the communication network.

ユーザインターフェース４は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。あるいは、ユーザインターフェース４は、タッチパネルといった、入力装置と表示装置とが一体化された装置を有していてもよい。そしてユーザインターフェース４は、例えば、プロセッサ７から受け取った、不審者が検出された画像とその画像上での不審者を示す情報とを表示装置に表示する。 The user interface 4 has, for example, an input device such as a keyboard and a mouse, and a display device such as a liquid crystal display. Alternatively, the user interface 4 may have a device such as a touch panel in which an input device and a display device are integrated. Then, the user interface 4 displays, for example, an image in which a suspicious person is detected and received from the processor 7 and information indicating the suspicious person on the image on the display device.

メモリ５は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリである。そしてメモリ５は、例えば、プロセッサ７で実行される不審者検出処理を実行するための各種のデータ、不審者検出処理の実行中に作成される各種のデータ及び不審者検出処理の結果などを記憶する。さらに、メモリ５は、監視カメラ２から取得した画像を一定期間記憶してもよい。 The memory 5 is an example of a storage unit, and is, for example, a readable and writable semiconductor memory and a read only semiconductor memory. The memory 5 stores, for example, various data for executing the suspicious person detection process executed by the processor 7, various data generated during execution of the suspicious person detection process, results of the suspicious person detection process, and the like. Do. Furthermore, the memory 5 may store an image acquired from the monitoring camera 2 for a certain period.

記憶媒体アクセス装置６は、記憶部の他の一例であり、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置６は、例えば、記憶媒体８に記憶された、プロセッサ７上で実行される不審者検出処理用のコンピュータプログラムを読み込み、プロセッサ７に渡す。あるいは、記憶媒体アクセス装置６は、不審者検出処理の実行中に作成される各種のデータ及び不審者検出処理の結果などをプロセッサ７から受け取って記憶媒体８に書き込んでもよい。 The storage medium access device 6 is another example of the storage unit, and is a device that accesses the storage medium 8 such as a magnetic disk, a semiconductor memory card, and an optical storage medium, for example. The storage medium access device 6 reads, for example, a computer program for a suspicious person detection process stored on the storage medium 8 and executed on the processor 7 and passes the computer program to the processor 7. Alternatively, the storage medium access device 6 may receive various data created during execution of the suspicious person detection process, the result of the suspicious person detection process, and the like from the processor 7 and write the received data in the storage medium 8.

プロセッサ７は、制御部の一例であり、例えば、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。またプロセッサ７は、数値演算プロセッサを有してもよい。そしてプロセッサ７は、不審者検出装置１全体を制御する。また、プロセッサ７は、通信インターフェース３を介して監視カメラ２から画像を受け取る度に、その画像に撮影時刻を対応付けてメモリ５に保存する。そしてプロセッサ７は、監視カメラ２から受け取った時系列の一連の画像のそれぞれに対して不審者検出処理を実行する。 The processor 7 is an example of a control unit, and includes, for example, one or more CPUs (Central Processing Units) and peripheral circuits thereof. The processor 7 may also have a numerical processor. And processor 7 controls the suspicious person detection device 1 whole. Moreover, every time the processor 7 receives an image from the monitoring camera 2 via the communication interface 3, the processor 7 associates the image with the photographing time and stores the image in the memory 5. Then, the processor 7 executes a suspicious person detection process on each of a series of time-series images received from the monitoring camera 2.

図２は、不審者検出処理に関するプロセッサ７の機能ブロック図である。図２に示されるように、プロセッサ７は、人物検出部１１と、顔向き推定部１２と、移動方向推定部１３と、判定条件設定部１４と、不審者判定部１５とを有する。 FIG. 2 is a functional block diagram of the processor 7 regarding the suspicious person detection process. As shown in FIG. 2, the processor 7 includes a person detection unit 11, a face direction estimation unit 12, a movement direction estimation unit 13, a determination condition setting unit 14, and a suspicious person determination unit 15.

プロセッサ７が有するこれらの各部は、例えば、プロセッサ７上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ７が有するこれらの各部は、プロセッサ７に組み込まれる専用の回路として不審者検出装置１に実装されてもよい。また、人物検出部１１、顔向き推定部１２及び移動方向判定部１３は、監視カメラ２により得られた画像上に表された人物を追跡してその人物の移動方向、移動速度及び顔の向きを推定するために用いられる。一方、判定条件設定部１４及び不審者判定部１５は、追跡中の人物が不審者か否かを判定するために用いられる。 These units included in the processor 7 are, for example, functional modules realized by a computer program executed on the processor 7. Alternatively, these units included in the processor 7 may be implemented in the suspicious person detection device 1 as a dedicated circuit incorporated in the processor 7. The person detection unit 11, the face direction estimation unit 12, and the movement direction determination unit 13 track the person represented on the image obtained by the monitoring camera 2, and the movement direction, movement speed, and face direction of the person Is used to estimate On the other hand, the determination condition setting unit 14 and the suspicious person determination unit 15 are used to determine whether a person being tracked is a suspicious person.

人物検出部１１は、監視カメラ２から画像が得られる度に、その画像から何れかの人物が表された領域である人体領域を検出する。なお、人物検出部１１は、監視カメラ２から得られる複数の画像のそれぞれに対して同一の処理を行えばよいので、以下では、一つの画像に対する処理について説明する。 Each time the person detection unit 11 obtains an image from the monitoring camera 2, the person detection unit 11 detects a human body region which is a region in which any person is represented from the image. The person detection unit 11 may perform the same process on each of the plurality of images obtained from the monitoring camera 2, and therefore, the process on one image will be described below.

人物検出部１１は、例えば、画像に対してDeformable Part Model(DPM)を利用した検出器を適用することで、人物領域を検出する。この場合、人物検出部１１は、画像上にウィンドウを設定し、ウィンドウ内の各画素の値から、人物領域の検出に利用する特徴（例えば、Histogram of Oriented Gradient(HOG)特徴あるいはHaar-like特徴）を算出する。そして人物検出部１１は、その特徴を、DPMを利用した検出器に入力することで、ウィンドウが人物領域か否か判定する。人物検出部１１は、画像上でのウィンドウの位置を変えながら同様の処理を行うことで、画像上の任意の位置から人物領域を検出できる。なお、DPMを利用した人物領域の検出の詳細については、例えば、D. McAllester他、「A Discriminatively Trained, Multiscale, Deformable Part Model」、in IEEE Conference on Computer Vision and Pattern Recognition、2008年、を参照されたい。 The person detection unit 11 detects a person area by applying a detector using Deformable Part Model (DPM) to an image, for example. In this case, the human detection unit 11 sets a window on the image, and uses the value of each pixel in the window to detect a human region (for example, a Histogram of Oriented Gradient (HOG) feature or a Haar-like feature). Calculate). Then, the person detection unit 11 determines whether the window is a person area or not by inputting the feature to a detector using the DPM. The person detection unit 11 can detect the person area from any position on the image by performing the same process while changing the position of the window on the image. For details on the detection of the person area using DPM, see, for example, D. McAllester et al., “A Discriminatively Trained, Multiscale, Deformable Part Model”, in IEEE Conference on Computer Vision and Pattern Recognition, 2008. I want to.

なお、人物検出部１１は、上記の検出器の代わりに、画像から人物領域を検出するようにあらかじめ学習された他の検出器、例えば、AdaBoost、realAdaBoost、サポートベクトルマシンあるいは多層パーセプトロンに基づく検出器を利用してもよい。 Note that the human detection unit 11 is not the above-described detector but is another detector previously learned to detect a human region from an image, for example, a detector based on AdaBoost, realAdaBoost, a support vector machine or a multilayer perceptron. You may use

また、人物検出部１１は、一つの画像から複数の人物領域を検出してもよい。検出した人物領域は、例えば、人物領域に含まれる各画素の値と人物領域外の各画素の値とが異なる２値画像で表される。人物検出部１１は、各画像について、検出した人物領域を顔向き推定部１２及び移動方向推定部１３へ通知する。 In addition, the person detection unit 11 may detect a plurality of person areas from one image. The detected person area is, for example, represented by a binary image in which the value of each pixel included in the person area is different from the value of each pixel outside the person area. The person detection unit 11 notifies the face direction estimation unit 12 and the movement direction estimation unit 13 of the detected person area for each image.

顔向き推定部１２は、監視カメラ２から画像が得られる度に、その画像上の個々の人物領域からその人物領域に表された人物の顔が表された顔領域を検出し、顔領域からその人物の顔の向きを推定する。なお、顔向き推定部１２は、人物領域のそれぞれに対して同一の処理を行えばよいので、以下では、一つの人物領域に対する処理について説明する。 Every time an image is obtained from the monitoring camera 2, the face direction estimation unit 12 detects a face area in which the face of the person represented in the person area is represented from each person area on the image, and from the face area Estimate the orientation of the person's face. Since the face orientation estimation unit 12 may perform the same process on each of the person areas, the process on one person area will be described below.

顔向き推定部１２は、例えば、画像上の人物領域に対してAdaBoost検出器を適用することで、顔領域を検出する。この場合、顔向き推定部１２は、人物領域内に設定したウィンドウの各画素の値から、顔領域の検出に利用する特徴（例えば、HOG特徴あるいはHaar-like特徴）を算出する。そして顔向き推定部１２は、その特徴を、AdaBoost検出器に入力することで、ウィンドウが顔領域か否か判定する。顔向き推定部１２は、人物領域内でのウィンドウの位置を変えながら同様の処理を行うことで、人物領域内の任意の位置から顔領域を検出できる。なお、AdaBoost検出器を利用した顔領域の検出の詳細については、例えば、P. Viola他、「Robust Real-Time Face Detection」、International Journal of Computer Vision、2004年、を参照されたい。 The face orientation estimation unit 12 detects a face region, for example, by applying an AdaBoost detector to a person region on an image. In this case, the face orientation estimation unit 12 calculates a feature (for example, an HOG feature or a Haar-like feature) used to detect a face area from the value of each pixel of the window set in the person area. Then, the face orientation estimation unit 12 determines whether the window is a face area by inputting the feature into the AdaBoost detector. The face orientation estimation unit 12 can detect the face area from any position in the human area by performing the same process while changing the position of the window in the human area. For details of face region detection using the AdaBoost detector, see, for example, P. Viola et al., "Robust Real-Time Face Detection", International Journal of Computer Vision, 2004.

なお、顔向き推定部１２は、上記の検出器の代わりに、画像から顔領域を検出するようにあらかじめ学習された他の検出器、例えば、realAdaBoost、サポートベクトルマシンあるいは多層パーセプトロンに基づく検出器を利用してもよい。 Note that the face orientation estimation unit 12 may be replaced with another detector previously learned to detect a face area from an image, for example, a detector based on realAdaBoost, a support vector machine or a multilayer perceptron, instead of the above detector. You may use it.

人物領域から顔領域が検出されると、顔向き推定部１２は、顔領域に表された顔の向きを推定する。顔向き推定部１２は、例えば、コンボリューションニューラルネットワーク(Convolutional Neural Network(CNN))に顔領域を入力することで、推定された顔の向きをもとめる。なお、CNNは、様々な顔の向きのサンプル画像を用いて顔の向きを判定するよう予め学習される。CNNを利用した顔の向きの推定の詳細については、例えば、X. Liu他、「3D HEAD POSE ESTIMATION WITH CONVOLUTIONAL NEURAL NETWORK TRAINED ON SYNTHETIC IMAGES」、Proc. IEEE Int. Conf. Image Process、2016年、を参照されたい。 When the face area is detected from the human area, the face direction estimation unit 12 estimates the direction of the face represented in the face area. The face orientation estimation unit 12 obtains the estimated face orientation by, for example, inputting a face region into a convolutional neural network (CNN). The CNN is learned in advance to determine the face orientation using sample images of various face orientations. For details of face orientation estimation using CNN, for example, X. Liu et al., “3D HEAD POSE ESTIMATION WITH CONVOLUTIONAL NEURAL NETWORK TRAINED ON SYNTHETIC IMAGES”, Proc. IEEE Int. Conf. Image Process, 2016 Please refer to it.

なお、顔向き推定部１２は、画像上に表された顔の向きを推定する他の手法に従って、顔領域に表された顔の向きを推定してもよい。例えば、顔向き推定部１２は、顔領域に対して目尻、鼻尖点、口角点などの顔の様々な特徴点を表すテンプレートを用いたテンプレートマッチングを実行することで顔領域から顔の複数の特徴点を検出し、検出した複数の特徴点から顔の正中線をもとめる。そして顔向き推定部１２は、顔の正中線に対する鼻尖点の位置関係に応じて、推定された顔の向きを求めてもよい。 The face orientation estimation unit 12 may estimate the orientation of the face represented in the face area according to another method of estimating the orientation of the face represented on the image. For example, the face orientation estimation unit 12 executes a plurality of template matching from the face area to the face by executing template matching on the face area using templates representing various feature points of the face such as the corner of the eye, nose cusps and corner corners The point is detected, and the center line of the face is determined from the detected feature points. Then, the face orientation estimation unit 12 may obtain the estimated orientation of the face according to the positional relationship of the nose tip with respect to the midline of the face.

なお、顔向き推定部１２により推定される顔の向きは、例えば、監視カメラ２の光軸方向に対してなす角度として表される。 The direction of the face estimated by the face direction estimation unit 12 is represented as, for example, an angle formed with respect to the optical axis direction of the monitoring camera 2.

顔向き推定部１２は、各人物領域について、推定した顔の向きを移動方向推定部１３へ通知する。 The face orientation estimation unit 12 notifies the movement direction estimation unit 13 of the estimated face orientation for each person area.

移動方向推定部１３は、監視カメラ２から得られた時系列の一連の画像のそれぞれから検出された人物領域に基づいて、その人物領域に表された人物を追跡することでその人物の移動方向及び移動速度を推定する。 The movement direction estimation unit 13 tracks the person represented in the person area based on the person area detected from each of the series of images in time series obtained from the monitoring camera 2 and thereby the movement direction of the person. And estimate the moving speed.

例えば、移動方向推定部１３は、監視カメラ２から画像が得られる度に、その画像から検出された人物領域ごとに、その人物領域に表された人物の実空間での位置を推定する。ここで、監視カメラ２の設置位置、床面からの高さ及び監視カメラ２の光軸方向は予め分かっており、画像の各画素の位置は、監視カメラ２からの方向と一対一に対応する。そのため、画像の画素ごとに、監視カメラ２からその画素に写っている床までの方向及び距離は計算できるので、その画素に写っている床の実空間での位置は既知となる。そこで、例えば、画像の画素ごとに、その画素に対応する実空間の位置を表す参照テーブルが予めメモリ５に保存される。また、監視カメラ２の設置状況により、人物領域に、人物の全身が表されると想定できる。この場合、人物領域の下端に人物の足先が写っているので、移動方向推定部１３は、参照テーブルを参照して、画像上の人物領域の下端が表される画素に対応する実空間での位置を求め、その位置を、人物領域に写っている人物の実空間での位置とする。 For example, every time an image is obtained from the monitoring camera 2, the movement direction estimation unit 13 estimates, for each person area detected from the image, the position in the real space of the person represented in the person area. Here, the installation position of the surveillance camera 2, the height from the floor surface, and the optical axis direction of the surveillance camera 2 are known in advance, and the position of each pixel of the image corresponds one-to-one with the direction from the surveillance camera 2. . Therefore, since the direction and distance from the monitoring camera 2 to the floor reflected in the pixel can be calculated for each pixel of the image, the real space position of the floor reflected in the pixel is known. Therefore, for example, for each pixel of the image, a reference table representing the position of the real space corresponding to the pixel is stored in advance in the memory 5. Further, it can be assumed that the whole body of the person is represented in the person area depending on the installation situation of the monitoring camera 2. In this case, since the toe of the person is shown at the lower end of the person area, the moving direction estimation unit 13 refers to the reference table and in real space corresponding to the pixel where the lower end of the person area on the image is represented. Position of the person in the real space of the person shown in the person area.

最新の画像について人物領域に表された人物の実空間の位置が求められると、移動方向推定部１３は、その最新の画像の人物領域と過去の画像の人物領域とから追跡処理を行って、同一人物ごとにその人物の移動方向及び移動速度を求める。そのために、移動方向推定部１３は、例えば、過去の画像から検出された、追跡中の着目する人物が表された人物領域に基づくテンプレートを、Kernelized Correlation Filter(KCF)といった手法に従って適応的に更新する。そして移動方向推定部１３は、更新されたテンプレートを用いたテンプレートマッチングを最新の画像の各人物領域に対して行うことで、着目する人物と同一の人物が表された人物領域を特定する。なお、KCFを用いた追跡処理の詳細については、例えば、J. F. Henriques他、「High-Speed Tracking with Kernelized Correlation Filters」、Proc. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)、2015年、を参照されたい。 When the position of the real space of the person represented in the person area for the latest image is determined, the movement direction estimation unit 13 performs tracking processing from the person area of the latest image and the person area of the past image, The movement direction and movement speed of the person are determined for each same person. Therefore, the movement direction estimation unit 13 adaptively updates, for example, a template based on a person area, which is detected from a past image and in which a focused person being tracked is represented, is represented according to a method such as Kernelized Correlation Filter (KCF). Do. Then, the movement direction estimation unit 13 performs template matching using the updated template on each person area of the latest image, thereby specifying a person area in which the same person as the person of interest is represented. For details on tracking processing using KCF, see, for example, JF Henriques et al., “High-Speed Tracking with Kernelized Correlation Filters”, Proc. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2015. I want to.

また、移動方向推定部１３は、他の追跡手法を用いて、追跡中の人物ごとに、その人物が表された過去の画像上の人物領域と最新の画像上の人物領域とを対応付けてもよい。例えば、移動方向推定部１３は、過去の画像について、着目する人物が表された人物領域からSIFTなどに基づく特徴点を検出する。そして移動方向推定部１３は、最新の画像上の各人物領域のうち、検出された特徴点と最も一致する対応点を持つ人物領域を、着目する人物が表された人物領域としてもよい。 In addition, the movement direction estimation unit 13 associates the person area in the past image on which the person is represented with the person area on the latest image for each person being tracked, using another tracking method. It is also good. For example, the moving direction estimation unit 13 detects, for the past image, a feature point based on SIFT or the like from a person area where a person of interest is represented. Then, the movement direction estimation unit 13 may set a person region having a corresponding point that most matches the detected feature point among the person regions on the latest image as the person region in which the person to be focused is represented.

なお、移動方向推定部１３は、最新の画像から検出された各人物領域のうち、追跡中の何れの人物とも対応付けられなかった人物領域には、追跡中のいずれの人物とも異なる人物が表されていると判定してもよい。そして移動方向推定部１３は、追跡中の何れの人物とも対応付けられなかった人物領域に表された人物を、新たに追跡を開始する人物として、その人物に識別番号を設定する。 Note that the movement direction estimation unit 13 displays, in each person area detected from the latest image, a person different from any person in tracking in the person area not associated with any person in tracking. It may be determined that Then, the movement direction estimation unit 13 sets an identification number to a person represented in the person area that is not associated with any person being tracked as a person who newly starts tracking.

移動方向推定部１３は、追跡中の人物ごとに、その人物が表された最新の画像及び過去の画像のそれぞれの人物領域から特定されたその人物の実空間の位置、及び、監視カメラ２のフレームレートから、その人物の移動方向及び移動速度を算出する。例えば、移動方向推定部１３は、最新の画像の撮影時刻における人物の実空間の位置と、直前の画像の撮影時刻におけるその人物の実空間の位置との差に基づいて移動方向を推定できる。また、移動方向推定部１３は、最新の画像の撮影時刻における人物の実空間の位置と、直前の画像の撮影時刻におけるその人物の実空間の位置間の距離をフレームレートで除することで、最新の画像の撮影時刻におけるその人物の移動速度を算出できる。また、移動方向推定部１３は、追跡中の各人物について、最新の画像の撮影時刻における、推定された顔の向きと、移動方向とから、床面と平行な面において推定された顔の向きが移動方向に対してなす角度を移動方向に対する顔の向きとして算出する。そして移動方向推定部１３は、追跡中の人物ごとに、その人物の実空間の位置、移動方向に対する顔の向き、移動方向及び移動速度などを表す追跡テーブルを更新する。移動方向推定部１３は、追跡テーブルを更新する度に、更新した追跡テーブルをメモリ５に保存する。 The movement direction estimation unit 13 determines, for each person being tracked, the position of the real space of the person identified from the person image region of each of the latest image and the past image in which the person is represented, and the monitoring camera 2 From the frame rate, the moving direction and moving speed of the person are calculated. For example, the moving direction estimation unit 13 can estimate the moving direction based on the difference between the position of the person's real space at the shooting time of the latest image and the position of the person's real space at the shooting time of the immediately preceding image. Further, the moving direction estimation unit 13 divides the distance between the position of the real space of the person at the shooting time of the latest image and the position of the real space of the person at the shooting time of the previous image by the frame rate. The moving speed of the person at the shooting time of the latest image can be calculated. In addition, the movement direction estimation unit 13 determines, for each person being tracked, the face direction estimated in a plane parallel to the floor surface from the estimated face direction at the shooting time of the latest image and the movement direction. The angle that the camera makes with the movement direction is calculated as the face direction with respect to the movement direction. Then, the movement direction estimation unit 13 updates, for each person being tracked, the tracking table representing the position of the person in real space, the orientation of the face with respect to the movement direction, the movement direction, the movement speed, and the like. The movement direction estimation unit 13 stores the updated tracking table in the memory 5 each time the tracking table is updated.

図３は、追跡テーブルの一例を示す図である。追跡テーブル３００では、一つの行に、追跡中の一人の人物についてのデータが記録される。そして追跡テーブル３００の左側から順に、追跡中の人物に割り当てられた識別番号、不審者か否かの判定が行われたか否かを表す終了判定フラグ、及び、撮影時刻ごとの実空間位置、顔の向き、移動方向及び移動速度が記録される。なお、着目する人物について終了判定フラグの値が’0’のとき、着目する人物に対する不審者か否かの判定は行われていない。一方、着目する人物について終了判定フラグの値が’1’のとき、着目する人物に対する不審者か否かの判定は終了している。 FIG. 3 is a diagram showing an example of the tracking table. In the tracking table 300, data for one person being tracked is recorded in one row. Then, from the left side of the tracking table 300, the identification number assigned to the person being tracked, the end determination flag indicating whether or not the determination is made as a suspicious person, the real space position for each shooting time, the face Direction, movement direction and movement speed are recorded. When the value of the end determination flag is '0' for the person of interest, it is not determined whether the person of interest is a suspicious person. On the other hand, when the value of the end determination flag is '1' for the person of interest, the determination of whether the person of interest is a suspicious person has ended.

判定条件設定部１４は、閾値設定部の一例であり、追跡中の人物のうち、追跡開始からの追跡期間が所定の時間長（例えば、1分〜5分）に達した人物ごとに、不審者か否かを判定するために用いられる判定条件を設定する。本実施形態では、判定条件設定部１４は、追跡期間が所定の時間長に達した人物ごとに、その人物の移動速度に基づいて、その人物が移動方向以外の位置へ顔を向ける時間の長さに対する閾値（以下、時間長閾値と呼ぶ）を、判定条件として設定する。なお、人物が顔を向ける位置を、以下では、注視位置と呼ぶ。 The determination condition setting unit 14 is an example of a threshold setting unit, and among the persons being tracked, suspiciousness is detected for each person whose tracking period from the start of tracking has reached a predetermined time length (for example, 1 minute to 5 minutes) Set the judgment conditions used to judge whether the person is a person or not. In the present embodiment, the determination condition setting unit 14 sets, for each person whose tracking period has reached a predetermined time length, the length of time for which the person directs the face to a position other than the movement direction based on the movement speed of the person. A threshold for height (hereinafter referred to as a time length threshold) is set as a determination condition. The position at which the person turns his face is hereinafter referred to as a gaze position.

一般に、買い物客は、買い物を行うとき、ゆっくり移動しながら移動方向以外に配置された商品を見ることがあるものの、速く移動するときには、そのような行動を行わない。そこで、本実施形態では、判定条件設定部１４は、移動速度が速くなるほど時間長閾値が小さくなるように、時間長閾値を設定する。例えば、判定条件設定部１４は、追跡期間が所定の時間長に達した着目人物について、次式に従って時間長閾値THを設定する。

ここで、vは、着目人物について、追跡テーブルに記録されている各画像の撮影時刻における移動速度の平均値である。なお、vは、最新の画像の撮影時刻における移動速度であってもよい。また、α及びβは、予め設定される定数であり、例えば、不審者検出装置１が設置される店舗における買い物客の移動速度ごとの注視位置へ顔を向ける時間の測定値などに基づいて、買い物客の注視時間が時間長閾値未満となるように設定される。なお、人物が注視位置へ顔を向ける時間の長さを、以下では注視時間と呼ぶ。あるいは、定数α及びβは、様々な店舗における買い物客の移動速度ごとの注視時間の測定値の平均値などに基づいて、買い物客の注視時間が時間長閾値未満となるように設定されてもよい。あるいはまた、定数α及びβは、実空間における所定のエリアごとに設定されてもよい。この場合も、エリアごとにおける、買い物客の移動速度ごとの注視時間の測定値などに基づいて、エリアごとに定数α及びβは設定されればよい。判定条件設定部１４は、このように時間長閾値を設定することで、着目人物の移動速度に応じた適切な不審者判定条件を設定できる。 Generally, when shopping, the shopper may see goods placed in a direction other than the moving direction while moving slowly, but does not perform such an action when moving quickly. Thus, in the present embodiment, the determination condition setting unit 14 sets the time length threshold so that the time length threshold decreases as the moving speed increases. For example, the determination condition setting unit 14 sets a time length threshold TH in accordance with the following equation for a person of interest whose tracking period has reached a predetermined time length.

Here, v is an average value of moving speeds at shooting time of each image recorded in the tracking table for the person of interest. Note that v may be the moving speed at the shooting time of the latest image. Further, α and β are constants set in advance, and for example, based on the measurement value of the time for turning the face to the gaze position for each moving speed of the shopper in the store where the suspicious person detection device 1 is installed. The shopper's gaze time is set to be less than the time length threshold. The length of time during which a person turns his or her face to the gaze position is hereinafter referred to as gaze time. Alternatively, even if the constants α and β are set so that the gaze time of the shopper is less than the time length threshold based on the average value of the measurement values of the gaze time for each moving speed of the shopper in various stores. Good. Alternatively, constants α and β may be set for each predetermined area in the real space. Also in this case, the constants α and β may be set for each area based on the measurement value of the gaze time for each movement speed of the shopper in each area. The determination condition setting unit 14 can set an appropriate suspicious person determination condition according to the moving speed of the person of interest by setting the time length threshold in this manner.

判定条件設定部１４は、追跡中の人物のうち、追跡期間が所定の時間長に達した人物ごとに、設定した時間長閾値を不審者判定部１５へ通知する。 The determination condition setting unit 14 notifies the suspicious person determination unit 15 of the set time length threshold value for each person whose tracking period has reached a predetermined time length among persons being tracked.

不審者判定部１５は、追跡中の人物のうち、追跡期間が所定の時間長に達し、かつ、不審者か否かの判定が行われていない人物（すなわち、追跡テーブルにおいて終了判定フラグの値が’0’の人物）について、不審者か否かを判定する。なお、不審者判定部１５は、人物ごとに同一の処理を実行すればよいので、以下では、一人の人物に対する処理について説明する。 The suspicious person determination unit 15 determines, among the persons being traced, persons whose tracking period has reached a predetermined time length and whose determination as to whether it is a suspicious person has not been performed (that is, the value of the end determination flag in the tracking table) It is determined whether or not a person of '0' is a suspicious person. In addition, since the suspicious person determination unit 15 may execute the same process for each person, the process for one person will be described below.

不審者判定部１５は、着目する人物について、撮影時刻ごとに、その撮影時刻における人物の位置から顔の向きを表す直線の方程式を算出する。 The suspicious person determination unit 15 calculates, for each shooting time, a straight line equation representing the direction of the face from the position of the person at the shooting time.

図４は、追跡中の人物について、各撮影時刻における、その人物の顔の向きを表す方程式の一例を示す図である。図４に示される例では、床面と平行な面上の位置が、xy直交座標系で表される。追跡中の人物４００は、矢印４０１に沿って移動している。そして時刻T0のときに、人物４００は位置(x₀,y₀)にあり、矢印４１０の方向へ顔を向けている。この場合、時刻T0における顔の向きの方程式は、位置(x₀,y₀)と、時刻T0における顔の向きとから、a₀x+b₀y+c₀=0として算出される。同様に、時刻T1のときに、人物４００は位置(x₁,y₁)にあり、矢印４１１の方向へ顔を向けている。そのため、時刻T1における顔の向きの方程式は、位置(x₁,y₁)と、時刻T1における顔の向きとから、a₁x+b₁y+c₁=0として算出される。また、時刻T2のときに、人物４００は位置(x₂,y₂)にあり、矢印４１２の方向へ顔を向けている。そのため、時刻T2における顔の向きの方程式は、位置(x₂,y₂)と、時刻T2における顔の向きとから、a₂x+b₂y+c₂=0として算出される。なお、a_i、b_i、c_i (i=0,1,2)は、それぞれ、係数である。 FIG. 4 is a diagram showing an example of an equation representing the orientation of the face of the person being tracked at each shooting time. In the example shown in FIG. 4, the position on the plane parallel to the floor surface is represented by the xy orthogonal coordinate system. The person 400 being tracked is moving along the arrow 401. Then, at time T 0, the person 400 is at the position (x ₀ , y ₀ ) and faces in the direction of the arrow 410. In this case, the equation of the face direction at time T0 is calculated as a ₀ x + b ₀ y + c ₀ = 0 from the position (x ₀ , y ₀ ) and the face direction at time T ₀ . Similarly, at time T1, the person 400 is at the position (x ₁ , y ₁ ) and faces in the direction of the arrow 411. Therefore, the equation of the orientation of the face in time T1, position and (x _1, y _1), from the direction of the face in time T1, is calculated as _{_{a 1 x + b 1 y +}} c 1 = 0. Further, at time T2, the person 400 is at the position (x ₂ , y ₂ ), and faces in the direction of the arrow 412. Therefore, the equation of the face orientation at time T2 is calculated from the position (x ₂ , y ₂ ) and the face orientation at time T ₂ as a ₂ x + b ₂ y + c ₂ = 0. Here, a _i , b _i and c _i (i = 0, 1, 2) are coefficients.

なお、不審者判定部１５は、顔の向きと移動方向との角度差が所定の角度差以下である場合には、顔の向きの方程式を算出しなくてもよい。例えば、図４において、時刻T3のときに、人物４００は位置(x₃,y₃)にあり、矢印４１３の方向へ顔を向けている。そして矢印４１３に示される顔の向きと、矢印４０１で示される移動方向との差が所定の角度差以下であるため、時刻T3における顔の向きの方程式は算出されなくてよい。なお、所定の角度差は、例えば、10°とすることができる。 The suspicious person determination unit 15 may not calculate the equation of the face orientation when the angle difference between the face orientation and the movement direction is equal to or less than a predetermined angle difference. For example, in FIG. 4, at time T3, the person 400 is at the position (x ₃ , y ₃ ) and faces in the direction of the arrow 413. Then, since the difference between the direction of the face indicated by the arrow 413 and the movement direction indicated by the arrow 401 is equal to or less than a predetermined angle difference, the equation of the direction of the face at time T3 may not be calculated. The predetermined angle difference can be, for example, 10 °.

不審者判定部１５は、各撮影時刻における顔の向きの方程式に基づいて、着目する人物が自身の移動方向以外における注視位置をもとめる。例えば、不審者判定部１５は、各撮影時刻における顔の向きの方程式から選択した二つの方程式の交点を算出する。その際、不審者判定部１５は、選択する二つの方程式の組み合わせを変えながら、全ての組み合わせのそれぞれについて交点を算出する。なお、二つの方程式{a_ix+b_iy+c_i=0, a_jx+b_jy+c_j=0}の交点(x,y)は、例えば、次式に従って算出される。

The suspicious person determination unit 15 obtains a gaze position in a person other than the moving direction of the person based on the equation of the direction of the face at each shooting time. For example, the suspicious person determination unit 15 calculates an intersection of two equations selected from the equations of the face direction at each photographing time. At that time, the suspicious person determination unit 15 calculates an intersection point for each of all the combinations while changing the combination of the two selected equations. The intersection point (x, y) of the two equations {a _i x + b _i y + c _i = 0, a _j x + b _j y + c _j = 0} is calculated, for example, according to the following equation.

不審者判定部１５は、各交点のうち、互いの距離が所定距離以下となる交点の集合を求める。なお、所定距離は、例えば、30cmとすることができる。そして不審者判定部１５は、互いの距離が所定距離以下となる交点の集合で表される位置、例えば、その集合の重心を、着目する人物の注視位置とする。これにより、不審者判定部１５は、着目する人物の注視位置を正確に特定できる。また、不審者判定部１５は、互いの距離が所定距離以下となる交点の集合に含まれる何れかの交点を形成する顔の方程式の数をカウントする。この場合、交点の集合に含まれる何れかの交点を形成する顔の方程式の数は、着目する人物が追跡中においてその交点の集合で表される注視位置を見る累計の時間に対応するので、不審者判定部１５は、その累計の時間の時間を注視時間として求めることができる。そのため、不審者判定部１５は、着目する人物が注視位置をちらちらと見る場合の注視時間を正確に求めることができる。 The suspicious person determination unit 15 obtains a set of intersections at which the distance between the intersections is equal to or less than a predetermined distance. The predetermined distance may be, for example, 30 cm. Then, the suspicious person determination unit 15 sets a position represented by a set of intersections at which the distance to each other is equal to or less than a predetermined distance, for example, the center of gravity of the set, as the gaze position of the focused person. Thereby, the suspicious person determination unit 15 can accurately specify the gaze position of the person of interest. Further, the suspicious person determination unit 15 counts the number of face equations forming any one of the intersections included in the set of intersections at which the mutual distance is equal to or less than a predetermined distance. In this case, the number of face equations forming any one of the intersections included in the set of intersections corresponds to the total time for a person of interest to look at the gaze position represented by the set of intersections during tracking. The suspicious person determination unit 15 can obtain the time of the accumulated time as the gaze time. Therefore, the suspicious person determination unit 15 can accurately obtain the gaze time when the focused person looks at the gaze position in a flickering manner.

図５は、注視位置の検出の概要の説明図である。図５に示される例では、床面と平行な面上の位置が、xy直交座標系で表される。追跡中の人物５００は、矢印５０１に沿って移動している。そして時刻T0のときに、人物５００は位置(x₀,y₀)にあり、矢印５１０の方向へ顔を向けている。同様に、時刻T1のときに、人物５００は位置(x₁,y₁)にあり、矢印５１１の方向へ顔を向けており、時刻T3のときに、人物５００は位置(x₃,y₃)にあり、矢印５１３の方向へ顔を向けている。この場合、矢印５１０で表される顔の向きの方程式と、矢印５１１で表される顔の向きの方程式とが交点P01にて交差する。同様に、矢印５１０で表される顔の向きの方程式と、矢印５１３で表される顔の向きの方程式とが交点P03にて交差し、矢印５１１で表される顔の向きの方程式と、矢印５１３で表される顔の向きの方程式とが交点P13にて交差する。そして各交点P01、P03、P13は、互いに所定距離以下となるので、交点の集合５２０を形成する。そしてこの場合、交点の集合５２０に含まれる何れかの交点を形成する顔の方程式の数は3となる。 FIG. 5 is an explanatory diagram of an outline of detection of a gaze position. In the example shown in FIG. 5, the position on the plane parallel to the floor surface is represented by the xy orthogonal coordinate system. The person 500 being tracked is moving along the arrow 501. Then, at time T0, the person 500 is at the position (x ₀ , y ₀ ) and faces in the direction of the arrow 510. Similarly, at time T1, the person 500 is at the position (x ₁ , y ₁ ) and faces in the direction of the arrow 511, and at time T 3 the person 500 is at the position (x ₃ , y ₃₎ And face in the direction of arrow 513). In this case, the equation of the face direction represented by the arrow 510 and the equation of the face direction represented by the arrow 511 intersect at the intersection point P01. Similarly, the equation of the face direction represented by the arrow 510 and the equation of the face direction represented by the arrow 513 intersect at the intersection point P03, and the equation of the face direction represented by the arrow 511, the arrow The equation of the face orientation represented by 513 intersects at the intersection point P13. Then, since the respective intersection points P01, P03, and P13 are equal to or less than a predetermined distance from each other, a set 520 of intersection points is formed. In this case, the number of face equations forming any one of the intersections included in the set of intersections 520 is three.

変形例によれば、不審者判定部１５は、着目する人物について、顔の向きがその人物の移動方向に対して異なる方向となる最初の撮影時刻から、順次、時間的に連続し、顔の向きが移動方向と異なる撮影時刻の組ごとに、顔の向きの方程式間の交点を算出してもよい。そして不審者判定部１５は、最初の組の交点を基準点とし、基準点からの距離が最初に所定距離よりも大きくなる組を求め、その組の直前の組について算出された交点から最初の組の交点までを、注視位置を表す交点の集合に含めてもよい。この場合、不審者判定部１５は、最初の組の交点からの距離が所定距離も大きくなった後の組について算出された交点については、最初の組の交点から所定距離以内に存在しても、注視位置を表す交点の集合に含めなくてもよい。これにより、不審者判定部１５は、注視時間として、着目する人物が連続して同じ注視位置へ顔を向けている期間を求めることができる。また、最初の組の交点を基準点とすることで、着目する人物が徐々に顔の向きを変えたときでも、最初に顔を向けていた方向から顔の向きがある程度以上変化した時点までが注視時間に含められるので、不審者判定部１５は、注視時間を正確に求めることができる。 According to the modification, the suspicious person determination unit 15 sequentially continues temporally from the first photographing time when the direction of the face is different from the moving direction of the person with respect to the person of interest. The point of intersection of the face orientation equations may be calculated for each set of shooting times whose orientation is different from the movement direction. Then, the suspicious person determination unit 15 uses the intersection point of the first set as a reference point, determines a set whose distance from the reference point is initially greater than a predetermined distance, and determines the first set of intersection points calculated for the set immediately before that set. The set of intersection points may be included in the set of intersection points representing the gaze position. In this case, the suspicious person determination unit 15 determines whether the intersection calculated for the pair after the distance from the intersection of the first pair has increased by a predetermined distance is within the predetermined distance from the intersection of the first pair , And may not be included in the set of intersection points representing the gaze position. Thereby, the suspicious person determination unit 15 can obtain, as the gaze time, a period in which the person of interest continuously points the face to the same gaze position. In addition, by using the first set of intersection points as a reference point, even when the person of interest gradually changes the face direction, it is from the direction in which the face was initially directed to the point when the face direction changes more than a certain amount Since it is included in the gaze time, the suspicious person determination unit 15 can accurately obtain the gaze time.

また他の変形例によれば、不審者判定部１５は、最初の交点の代わりに、注視位置を表す交点の集合の重心を基準点とし、基準点からの距離が所定距離以下となる交点を順次その交点の集合に含めてもよい。そして不審者判定部１５は、注視位置を表す交点の集合の重心からの距離が最初に所定距離よりも大きくなる組以降については、その組について算出された交点を、注視位置を表す交点の集合に含めないようにしてもよい。 According to another modification, instead of the first intersection, the suspicious person determination unit 15 sets the center of gravity of the set of intersections representing the gaze position as a reference point, and the intersection at which the distance from the reference point is equal to or less than a predetermined distance. It may be sequentially included in the set of intersections. Then, the suspicious person determination unit 15 sets a set of intersection points representing the gaze position for the intersections calculated for the set after the group where the distance from the center of gravity of the set of intersections representing the gaze position is initially greater than a predetermined distance. It may not be included in

さらに、不審者判定部１５は、着目する人物について、互いの距離が所定距離以下となる交点の集合が複数存在する場合、交点の集合のそれぞれを、着目する人物についての注視位置としてもよい。 Furthermore, the suspicious person determination unit 15 may set each of the sets of intersection points as the gaze position of the person of interest when there are a plurality of sets of intersections at which the distance between the persons of interest is equal to or less than a predetermined distance.

不審者判定部１５は、着目する人物について、移動方向以外の注視位置が求められると、移動方向以外の注視位置に対する注視時間を算出する。例えば、不審者判定部１５は、注視位置に対応する交点の集合に含まれる各交点を形成する顔の向きの方程式の数に、監視カメラ２のフレームレートを乗じて得られる値を注視時間とする。そして不審者判定部１５は、注視時間がその着目する人物について設定された時間長閾値以上となる場合、着目する人物が不審者であると判定する。なお、不審者判定部１５は、時間長閾値をフレームレートで除して得られる値を注視位置に対応する交点の集合に含まれる各交点を形成する顔の向きの方程式の数と比較してもよい。この場合には、不審者判定部１５は、注視位置に対応する交点の集合に含まれる各交点を形成する顔の向きの方程式の数が時間長閾値をフレームレートで除して得られる値以上となる場合に、着目する人物が不審者であると判定すればよい。 When the gaze position other than the moving direction is obtained for the person to be focused on, the suspicious person determination unit 15 calculates the gaze time to the gaze position other than the movement direction. For example, the suspicious person determination unit 15 determines a gaze time as a value obtained by multiplying the frame rate of the monitoring camera 2 by the number of face orientation equations forming each intersection included in the set of intersections corresponding to the gaze position. Do. Then, the suspicious person determination unit 15 determines that the focused person is a suspicious person when the gaze time is equal to or more than the time length threshold set for the focused person. The suspicious person determination unit 15 compares the value obtained by dividing the time length threshold by the frame rate with the number of face orientation equations forming each intersection included in the set of intersections corresponding to the gaze position. It is also good. In this case, the suspicious person determination unit 15 determines that the number of face orientation equations forming each intersection included in the set of intersections corresponding to the gaze position is a value obtained by dividing the time length threshold by the frame rate When it becomes, it may be determined that the person of interest is a suspicious person.

なお、不審者判定部１５は、着目する人物について、移動方向以外の複数の注視位置が検出されている場合、注視位置ごとに注視時間を算出し、算出した注視時間を着目する人物について設定された時間長閾値と比較してもよい。そして何れかの注視位置について、注視時間が時間長閾値以上となる場合、不審者判定部１５は、着目する人物が不審者であると判定してもよい。 The suspicious person determination unit 15 calculates the gaze time for each gaze position when a plurality of gaze positions other than the moving direction is detected for the person to watch, and the calculated gaze time is set for the person It may be compared with a time length threshold. When the gaze time is equal to or greater than the time length threshold for any gaze position, the suspicious person determination unit 15 may determine that the person to be focused on is a suspicious person.

不審者判定部１５は、追跡中のいずれかの人物を不審者と判定すると、例えば、不審者を示す情報をユーザインターフェース４が有する表示装置に表示させる。例えば、不審者判定部１５は、不審者と判定された人物について追跡が継続されている間、監視カメラ２から画像が得られる度に、その画像上で不審者と判定された人物が表された人物領域を示すマークをその画像に重畳してもよい。そして不審者判定部１５は、そのマークが重畳された画像をユーザインターフェース４が有する表示装置に表示させてもよい。あるいは、不審者判定部１５は、不審者と判定された人物が表された人物領域を示すマークが重畳された画像を、通信インターフェース３を介して他の機器へ出力してもよい。 If the suspicious person determination unit 15 determines that any person being tracked is a suspicious person, for example, the suspicious person determination unit 15 causes the display device of the user interface 4 to display information indicating the suspicious person. For example, while tracking of a person determined to be a suspicious person is continued, the suspicious person determination unit 15 displays a person determined to be a suspicious person on the image every time an image is obtained from the monitoring camera 2 A mark indicating the person area may be superimposed on the image. Then, the suspicious person determination unit 15 may cause the display device of the user interface 4 to display the image on which the mark is superimposed. Alternatively, the suspicious person determination unit 15 may output an image on which a mark indicating a person area indicating a person determined to be a suspicious person is superimposed to another device via the communication interface 3.

また、不審者判定部１５は、不審者か否かの判定が終了した追跡中の人物について、追跡テーブルの対応する終了判定フラグの値を’1’に書き換える。 In addition, the suspicious person determination unit 15 rewrites the value of the corresponding end determination flag of the tracking table to '1' for the person under tracking whose determination as to whether it is a suspicious person has ended.

なお、不審者判定部１５は、追跡中の着目する人物について、一旦不審者ではないと判定された場合でも、追跡開始から一定の期間（例えば、5〜10分）が経過するまで、上記の処理を繰り返してもよい。そして一定の期間が経過した時点でも、着目する人物が不審者でないと判定された場合に、不審者判定部１５は、着目する人物について、追跡テーブルの対応する終了判定フラグの値を’1’に書き換えてもよい。 Note that the suspicious person determination unit 15 determines that the person being focused on is not a suspicious person once, until the predetermined period (for example, 5 to 10 minutes) elapses from the start of the tracking. The process may be repeated. When it is determined that the focused person is not a suspicious person even when a certain period has passed, the suspicious person determination unit 15 sets the value of the corresponding end determination flag of the tracking table to '1' for the focused person. It may be rewritten to

あるいは、不審者判定部１５は、不審者か否かの判定が終了した人物について、判定結果に応じて終了判定フラグの値を異ならせてもよい。例えば、不審者判定部１５は、不審者でないと判定された人物については、終了判定フラグの値を’1’とし、不審者であると判定された人物については、終了判定フラグの値を’2’としてもよい。 Alternatively, the suspicious person determination unit 15 may change the value of the end determination flag according to the determination result for the person whose determination as to whether the person is the suspicious person is completed. For example, the suspicious person determination unit 15 sets the value of the end determination flag to '1' for a person who is determined not to be a suspicious person, and the value of the end determination flag for a person who is determined to be a suspicious person. It may be 2 '.

図６は、プロセッサ７により実行される、不審者検出処理の動作フローチャートである。プロセッサ７は、監視カメラ２から画像が得られる度に、下記の動作フローチャートに従って不審者検出処理を実行すればよい。 FIG. 6 is an operation flowchart of the suspicious person detection process executed by the processor 7. The processor 7 may execute the suspicious person detection process according to the following operation flowchart each time an image is obtained from the monitoring camera 2.

人物検出部１１は、最新の画像上で人物が表されている人物領域を検出する（ステップＳ１０１）。顔向き推定部１２は、検出された人物領域ごとに、その人物領域に表された人物の顔が写った顔領域を検出し、検出された顔領域に基づいて顔の向きを推定する（ステップＳ１０２）。 The person detection unit 11 detects a person area in which a person is represented on the latest image (step S101). The face orientation estimation unit 12 detects, for each of the detected person areas, a face area in which the face of the person represented in the person area is captured, and estimates the face direction based on the detected face area (steps) S102).

移動方向推定部１３は、過去の画像から検出された人物領域と最新の画像から検出された人物領域とに基づいて、最新の画像から検出された人物領域に表された人物を追跡中の何れかの人物と対応付ける（ステップＳ１０３）。なお、移動方向推定部１３は、最新の画像から検出された人物領域に表された人物のうち、追跡中のいずれの人物とも対応付けられなかった人物を新たな追跡対象の人物として、追跡を開始する。 The moving direction estimation unit 13 is tracking any person represented in the person area detected from the latest image based on the person area detected from the past image and the person area detected from the latest image. Correspond with the person of the person (step S103). In addition, the movement direction estimation unit 13 sets the tracking as a new tracking target person among persons represented in the person area detected from the latest image and not associated with any person being tracked. Start.

また移動方向推定部１３は、追跡中の各人物について、最新の画像上の対応する人物領域の位置に基づいてその人物の実空間での位置を求めることにより、最新の画像の撮影時刻におけるその人物の移動方向及び移動速度を推定する（ステップＳ１０４）。移動方向推定部１３は、追跡中の各人物について、最新の画像に基づいて求められた実空間での位置、移動方向、移動速度及び顔の向きなどを追跡テーブルに追加することで追跡テーブルを更新する（ステップＳ１０５）。 In addition, the movement direction estimation unit 13 obtains the position of the person in the real space based on the position of the corresponding person area on the latest image for each person being tracked, so that the shooting time of the latest image can be obtained. The movement direction and movement speed of the person are estimated (step S104). The movement direction estimation unit 13 adds the position in the real space, the movement direction, the movement speed, the face orientation, and the like obtained on the basis of the latest image to the tracking table for each person being tracked. It updates (step S105).

判定条件設定部１４は、追跡中の人物のうち、追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物を着目人物とする（ステップＳ１０６）。そして判定条件設定部１４は、着目人物の移動速度が速いほど短くなるように時間長閾値を設定する（ステップＳ１０７）。 The determination condition setting unit 14 sets, as a focused person, a person whose tracking period has reached a predetermined time length and whose suspicious person detection processing has not been completed among the persons who are being tracked (step S106). Then, the determination condition setting unit 14 sets the time length threshold so as to be shorter as the moving speed of the target person is faster (step S107).

不審者判定部１５は、着目人物についての追跡中の各撮影時刻における顔の向きから、移動方向以外にある注視位置及び注視時間を算出する（ステップＳ１０８）。そして不審者判定部１５は、移動方向以外に注視位置があり、かつ、注視時間が時間長閾値以上か否か判定する（ステップＳ１０９）。移動方向以外に注視位置がないか、または、注視時間が時間長閾値未満であれば（ステップＳ１０９−Ｎｏ）、不審者判定部１５は、着目人物は不審者でないと判定する（ステップＳ１１０）。一方、移動方向以外に注視位置があり、かつ、注視時間が時間長閾値以上であれば（ステップＳ１０９−Ｙｅｓ）、不審者判定部１５は、着目人物は不審者であると判定する（ステップＳ１１１）。そして不審者判定部１５は、着目人物が不審者であることを示す情報をユーザインターフェース４の表示装置に表示させる。 The suspicious person determination unit 15 calculates the gaze position and gaze time other than the moving direction from the orientation of the face at each shooting time during tracking of the person of interest (step S108). Then, the suspicious person determination unit 15 determines whether there is a gaze position other than the moving direction, and the gaze time is equal to or more than the time length threshold (step S109). If there is no gaze position other than the moving direction, or the gaze time is less than the time length threshold (Step S109-No), the suspicious person determination unit 15 determines that the focused person is not a suspicious person (Step S110). On the other hand, if there is a gaze position other than the moving direction and the gaze time is equal to or greater than the time length threshold (step S109-Yes), the suspicious person determination unit 15 determines that the focused person is a suspicious person (step S111). ). Then, the suspicious person determination unit 15 causes the display device of the user interface 4 to display information indicating that the focused person is a suspicious person.

ステップＳ１１０またはＳ１１１の後、不審者判定部１５は、追跡テーブルにおける、着目人物についての終了判定フラグの値を’1’に書き換える（ステップＳ１１２）。 After step S110 or S111, the suspicious person determination unit 15 rewrites the value of the end determination flag for the watched person in the tracking table to '1' (step S112).

プロセッサ７は、追跡テーブルを参照して、追跡中の人物のうち、追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物が存在するか否か判定する（ステップＳ１１３）。追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物が存在すれば（ステップＳ１１３−Ｙｅｓ）、プロセッサ７は、ステップＳ１０６以降の処理を繰り返す。一方、追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物が存在しなければ（ステップＳ１１３−Ｎｏ）、プロセッサ７は、不審者検出処理を終了する。 The processor 7 refers to the tracking table and determines, among the persons being tracked, whether there is a person whose tracking period has reached a predetermined time length and the suspicious person detection process has not been completed (step S113). ). If the tracking period reaches a predetermined time length and there is a person whose suspicious person detection processing has not been completed (step S113-Yes), the processor 7 repeats the processing of step S106 and subsequent steps. On the other hand, if the tracking period has reached a predetermined time length and there is no person whose suspicious person detection processing has not been completed (step S113-No), the processor 7 ends the suspicious person detection processing.

以上に説明してきたように、この不審者検出装置は、監視カメラにより得られる時系列の一連の画像に基づいて、不審者検出装置が設置された店舗内の人物を追跡する。そしてこの不審者検出装置は、その人物が移動方向以外にある何れかの注視位置へ一定時間以上顔を向けているか否かにより、その人物が不審者であるか否か判定する。そのため、この不審者検出装置は、予め、追跡中の人物を不審者と判定するための顔の向きを設定できない場合でも、追跡中の人物が不審者か否かを適切に判定できる。 As described above, this suspicious person detection device tracks a person in the store where the suspicious person detection device is installed, based on a series of time-series images obtained by the monitoring camera. Then, the suspicious person detection device determines whether the person is a suspicious person based on whether the person faces the face to any gaze position other than the moving direction for a predetermined time or more. Therefore, even if the suspicious person detection device can not set in advance the direction of the face for determining the person being traced as a suspicious person, it can appropriately determine whether the person being traced is a suspicious person or not.

なお、変形例によれば、時間長閾値は、予め設定される固定値であってもよい。この場合には、時間長閾値は、予めメモリ５に保存され、不審者判定部１５は、メモリ５から時間長閾値を読み込んで使用すればよい。この場合には、判定条件設定部１４は省略されてもよい。
この変形例によれば、時間長閾値の設定に要する演算が削減されるので、プロセッサ７の処理負荷が軽減される。 According to the modification, the time length threshold may be a fixed value set in advance. In this case, the time length threshold may be stored in advance in the memory 5, and the suspicious person determination unit 15 may read the time length threshold from the memory 5 and use it. In this case, the determination condition setting unit 14 may be omitted.
According to this modification, since the operation required to set the time length threshold is reduced, the processing load on the processor 7 is reduced.

さらに、上記の実施形態または変形例による不審者検出装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。 Furthermore, a computer program that causes a computer to realize the function of each unit of the processor of the suspicious person detection device according to the above-described embodiment or modification may be provided stored in a computer-readable recording medium. The computer readable recording medium can be, for example, a magnetic recording medium, an optical recording medium, or a semiconductor memory.

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms cited herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the art. It should be understood that the present invention is not to be limited to the construction of any of the examples herein, and to the specific listed examples and conditions relating to showing superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.

１不審者検出装置
２監視カメラ
３通信インターフェース
４ユーザインターフェース
５メモリ
６記憶媒体アクセス装置
７プロセッサ
８記憶媒体
１１人物検出部
１２顔向き推定部
１３移動方向推定部
１４判定条件設定部
１５不審者判定部 Reference Signs List 1 suspicious person detection device 2 surveillance camera 3 communication interface 4 user interface 5 memory 6 storage medium access device 7 processor 8 storage medium 11 person detection unit 12 face direction estimation unit 13 movement direction estimation unit 14 determination condition setting unit 15 suspicious person determination unit

Claims

A person detection unit that detects an area in which a person is represented from each of a plurality of time-series images obtained by the imaging unit;
A face orientation estimation unit configured to estimate the orientation of the face of the person represented in the person area detected from each of the plurality of images;
A movement direction estimation unit that estimates the movement direction of the person by tracking the person based on the person region in each of the plurality of images;
The person is suspected when the gaze time in which the face of the person faces the gaze position other than the movement direction of the person is equal to or greater than the time length threshold from the direction of the face of the person in each of the plurality of images A suspicious person judgment unit that judges the person as
Suspicious person detection device having.

The suspicious person determination unit determines, for each of the plurality of images, the position of the person in real space corresponding to the position of the person area on the image, and the direction of the face of the person estimated from the images A straight line representing the orientation of the face in the real space is determined from each of the plurality of images, and for each pair including the two images in which the orientation of the face in the plurality of images faces other than the moving direction, The suspicious person detection device according to claim 1, wherein an intersection of the straight lines with respect to is determined, and a position represented by the set of intersections at which the distance between the intersections is equal to or less than a predetermined distance is the gaze position.

The suspicious person detection device according to claim 2, wherein the suspicious person determination unit calculates the gaze time according to the number of the straight lines forming any one of the intersections included in the set.

The suspicious person determination unit calculates the intersection point for each set of two images of the plurality of images which are temporally continuous and whose face direction is other than the moving direction, The suspicious person detection device according to claim 2, wherein a period in which a pair in which a distance between the intersection of the set and the reference point is equal to or less than the predetermined distance is continuous is calculated as the gaze time.

The suspicious person detection device according to claim 4, wherein the suspicious person determination unit sets the reference point as the intersection point of the first set in time among the sets.

The threshold setting to make the time length threshold smaller as the moving speed of the person calculated from the position of the person in real space corresponding to the position of the person area on the image for each of the plurality of images increases. Have additional parts,
The suspicious person detection device according to any one of claims 1 to 5.

Detecting an area in which a person is represented from each of a plurality of time-series images obtained by the imaging unit;
Estimating the face orientation of the person represented in the person area detected from each of the plurality of images;
The movement direction of the person is estimated by tracking the person based on the person region in each of the plurality of images;
The person is suspected when the gaze time in which the face of the person faces the gaze position other than the movement direction of the person is equal to or greater than the time length threshold from the direction of the face of the person in each of the plurality of images To judge
Suspicious person detection method including

Detecting an area in which a person is represented from each of a plurality of time-series images obtained by the imaging unit;
Estimating the face orientation of the person represented in the person area detected from each of the plurality of images;
The movement direction of the person is estimated by tracking the person based on the person region in each of the plurality of images;
The person is suspected when the gaze time in which the face of the person faces the gaze position other than the movement direction of the person is equal to or greater than the time length threshold from the direction of the face of the person in each of the plurality of images To judge
A computer program for detecting a suspicious person for causing a computer to execute.