JP2012053776A - Display image search device, display device, display image search system, and display image search method - Google Patents
Display image search device, display device, display image search system, and display image search method Download PDFInfo
- Publication number
- JP2012053776A JP2012053776A JP2010197019A JP2010197019A JP2012053776A JP 2012053776 A JP2012053776 A JP 2012053776A JP 2010197019 A JP2010197019 A JP 2010197019A JP 2010197019 A JP2010197019 A JP 2010197019A JP 2012053776 A JP2012053776 A JP 2012053776A
- Authority
- JP
- Japan
- Prior art keywords
- image
- specific image
- feature amount
- specific
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】マーカを利用せずに撮影した画像に応じたコンテンツを提供すること。
【解決手段】撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出す特定画像付加情報取得部と、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部とを備えることを特徴とする。
【選択図】図１To provide content corresponding to an image taken without using a marker.
An image feature amount calculation unit that calculates a captured image feature amount indicating a feature of the image based on the captured image data, and a specific image feature amount table, and the feature amount of the specific image and the captured image An image feature amount comparison unit that compares the feature amount and searches for the specific image having a feature amount similar to the feature amount of the image included in the captured image data; and the image feature amount comparison unit performs the search to search for the specific image. A specific image additional information acquisition unit that reads out the specific image additional information related to the specific image from the storage unit, and an image area in the captured image data having a feature amount similar to the specific image obtained by the search. An output unit that outputs display position information indicating a position and the specific image additional information to the display unit is provided.
[Selection] Figure 1
Description
本発明は、撮影した撮影画像に応じたコンテンツを検索し、検索により得たコンテンツを表示部に表示させる表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法に関する。 The present invention relates to a display image search device, a display device, a display image search system, and a display image search method that search for content corresponding to a captured image and display the content obtained by the search on a display unit.
仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの存在する実空間を、ユーザ視点で表示された仮想空間によって表現して携帯端末に表示するシステムがある。
また、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ（Ｔｏｎｃｈｉｄｏｔ Ｃｏｒｐｏｒａｔｉｏｎ， ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ／ ）やＬａｙａｒ( ｈｔｔｐ：／／ｌａｙａｒ．ｃｏｍ／ )などがあり、注目を集めている。
There is a system that uses a virtual reality (VR) technology to display a real space in which a user exists in a virtual space displayed from a user viewpoint and displays the real space on a mobile terminal.
Also, using augmented reality (AR) technology, based on position information indicating the current position of the user and an image captured by the mobile device at this position, information associated with the captured position is obtained. There is a system in which a captured image is displayed on a mobile device and provided to a user. As a system using this augmented reality technology, there are Sekai Camera (Tonchidot Corporation, http://secamera.com/) and Layar (http://layer.com/), which are attracting attention.
例えば、拡張現実感技術を利用した技術として、二次元バーコード等のマーカを撮影し、当該二次元バーコードと一意に関連づけられたコンテンツを撮影した画像に合成して表示させるものがある（例えば、特許文献１参照）。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある（例えば、特許文献２参照）。
For example, as a technique using augmented reality technology, a marker such as a two-dimensional barcode is photographed, and content uniquely associated with the two-dimensional barcode is synthesized and displayed on the photographed image (for example, , See Patent Document 1).
Further, as an image recognition device that recognizes the content of captured image data, there is a device that extracts a keyword representing the content of captured image data according to the captured position (see, for example, Patent Document 2).
しかしながら、マーカを撮影して拡張現実感技術を利用する場合、実空間におけるマーカの表示形態や表示場所が制限される問題があった。
例えば、二次元バーコード等のマーカを撮影して画像認識する場合、認識可能な画角が得られる程度にユーザがマーカに近接して撮影する必要があり、マーカとユーザとの関係が比較的近い範囲内に制限される問題があった。なお、マーカは二次元バーコードのようにデザイン性の低い図形で構成されている場合が多いため、例えば、ビルに設置されている大型広告の全面に表示するなどのマーカ表示方法は、美観的に適さず、その表示場所が制限される問題があった。
However, when the augmented reality technology is used by photographing the marker, there is a problem that the display form and display location of the marker in the real space are limited.
For example, when an image is recognized by photographing a marker such as a two-dimensional barcode, it is necessary for the user to photograph as close as possible to a recognizable angle of view, and the relationship between the marker and the user is relatively There was a problem of being restricted within a close range. Note that markers are often composed of low-design graphics such as two-dimensional barcodes. For example, marker display methods such as displaying on the entire surface of large advertisements installed in buildings are aesthetic. There is a problem that the display location is limited.
本発明は、上記課題を解決するものであり、マーカを利用せずに撮影した画像に応じたコンテンツを提供する表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法を提供することを目的とする。 The present invention solves the above-described problems, and provides a display image search device, a display device, a display image search system, and a display image search method that provide content according to an image taken without using a marker. The purpose is to do.
上述の課題を鑑み、本発明に係る表示画像検索装置は、被写体を撮影する撮影部により生成された撮影画像データを入力する入力部と、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部とを備えることを特徴とする。 In view of the above-described problems, a display image search device according to the present invention includes an input unit that inputs captured image data generated by an imaging unit that captures a subject, and imaging that shows the characteristics of the image based on the captured image data. An image feature amount calculation unit for calculating an image feature amount, a specific image feature amount table for associating specific image data representing the specific image with specific image feature amount information indicating the characteristics of the specific image to be searched, and the specific image With reference to the storage unit storing related specific image additional information and the specific image feature amount table, the feature amount of the specific image and the captured image feature amount are compared, and the image included in the captured image data is compared. An image feature amount comparison unit that searches for the specific image having a feature amount similar to the feature amount, and when the image feature amount comparison unit obtains the specific image by the search, A specific image additional information acquisition unit that reads the specific image additional information to be read from the storage unit, display position information that indicates a position of an image area in captured image data having a feature amount similar to the specific image obtained by the search, and And an output unit that outputs the specific image additional information to the display unit.
また、上述の表示画像検索装置は、前記入力部が、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報を入力し、前記記憶部が、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルを記憶し、前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報に対応する前記特定画像を検索する位置情報比較部を備え、前記画像特徴量比較部が、前記位置情報比較部の検索により得られた前記特定画像の特徴量と前記撮影画像特徴量とを比較することを特徴とする。 In the display image search apparatus described above, the input unit inputs shooting position information indicating a position where the shooting unit is present when the shooting image data is generated, and the storage unit stores the specific image in the specific image. A specific image position table for associating the specific image data with specific image position information indicating a position associated with the image in advance, and referring to the specific image position table, based on the shooting position information, the shooting position A position information comparison unit that searches for the specific image corresponding to the information, wherein the image feature amount comparison unit includes the feature amount of the specific image and the captured image feature amount obtained by the search of the position information comparison unit. It is characterized by comparing.
また、上述の表示画像検索装置は、前記記憶部が、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルを記憶し、前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出し、当該オブジェクト類似度に基づき、前記撮影画像データと最も類似する前記特定画像データを検索して、検索により得た特定画像データを前記特定画像付加情報取得部に出力する画像認識部を、さらに備えることを特徴とする。 In the display image search device described above, the storage unit stores an object feature information table that associates object feature information indicating the feature of an object included in the specific image data with the specific image data, and the object feature information table , Calculating an object similarity indicating a degree of similarity between the object included in the captured image data and the object included in the specific image data, and based on the object similarity, the most similar to the captured image data An image recognition unit that searches for similar specific image data and outputs the specific image data obtained by the search to the specific image additional information acquisition unit is further provided.
また、上述の表示画像検索装置は、前記記憶部が、前記特定画像付加情報に対して予め関係付けられた条件を示す撮影条件情報を前記特定画像付加情報に対応付ける特定画像付加情報テーブルを記憶し、前記特定画像付加情報取得部が、前記検索により前記特定画像を得た場合、前記特定画像付加テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報が前記撮影条件情報の条件を満たす前記特定画像付加情報を前記記憶部から読み出すことを特徴とする。 In the display image search device described above, the storage unit stores a specific image additional information table that associates shooting condition information indicating a condition previously associated with the specific image additional information with the specific image additional information. When the specific image additional information acquisition unit obtains the specific image by the search, the shooting position information refers to the shooting position information based on the shooting position information with reference to the specific image addition table. The specific image additional information that satisfies is read out from the storage unit.
また、上述の表示画像検索装置は、前記画像認識部が、前記画像特徴量比較部の検索により複数の特定画像が得られた場合、当該特定画像の特徴量と類似する特徴量を有する前記撮影画像データ内の画像領域を示す重畳領域同士が、予め決められた割合以上の面積で重複しているか否かを判断し、予め決められた割合以上の面積で前記重畳領域同士が重複している場合、前記オブジェクト特徴情報テーブルを参照して、オブジェクトに関して当該重畳領域の画像と当該重畳領域に対応する前記特定画像とが類似している程度を示す前記オブジェクト類似度を算出し、このオブジェクト類似度に基づき、前記撮影画像データにおいて前記重畳領域同士が重複している部分の画像と最も類似する前記特定画像データを選択することを特徴とする。 Further, in the above-described display image search device, when the image recognition unit obtains a plurality of specific images by the search of the image feature amount comparison unit, the image capturing unit has a feature amount similar to the feature amount of the specific image. It is determined whether or not the overlapping regions indicating the image regions in the image data overlap with a predetermined area or more, and the overlapping regions overlap with each other with a predetermined area or more. In this case, referring to the object feature information table, the object similarity indicating the degree of similarity between the image of the overlapping area and the specific image corresponding to the overlapping area with respect to the object is calculated. On the basis of the above, the specific image data that is most similar to the image of the portion where the superimposed regions overlap in the captured image data is selected.
上述の課題を鑑み、本発明に係る表示装置は、上述の記載のいずれか一つの表示画像検索装置と、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備えることを特徴とする。 In view of the above-described problems, a display device according to the present invention includes any one of the display image search devices described above, a photographing unit that photographs a subject and generates the photographed image data, and the specific image display data. And a display unit for displaying an image based thereon.
上述の課題を鑑み、本発明に係る表示画像検索システムは、上述の記載のいずれか一つの表示画像検索装置と、前記表示画像検索装置とネットワークを介して接続され、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備える表示装置とを備えることを特徴とする。 In view of the above-described problems, a display image search system according to the present invention is connected to any one of the above-described display image search devices, and the display image search device via a network. A display device comprising: a photographing unit that generates image data; and a display unit that displays an image based on the specific image display data.
また、上述の表示装置および表示画像検索システムにおいて、表示装置は、入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする。 In the display device and the display image search system described above, the display device displays a display shape of the specific image additional information related to the specific image in accordance with the shape of the overlapping region of the specific image based on the display position information to be input. And the photographed image data obtained by synthesizing the specific image additional information in the superimposing region is displayed on the display unit.
上述の課題を鑑み、本発明に係る表示画像検索方法は、撮影された画像に対応する画像を検索する表示画像検索方法であって、被写体を撮影する撮影部により生成された撮影画像データを入力し、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出し、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索し、検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出し、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力することを特徴とする。 In view of the above-described problems, a display image search method according to the present invention is a display image search method for searching for an image corresponding to a captured image, and inputs captured image data generated by a capturing unit that captures a subject. Then, based on the photographed image data, a photographed image feature amount indicating the feature of the image is calculated, and specific image data representing the specific image is associated with specific image feature amount information representing a feature of the specific image to be searched With reference to the image feature amount table, the feature amount of the specific image is compared with the captured image feature amount, and the specific image having a feature amount similar to the feature amount of the image included in the captured image data is searched. When the specific image is obtained by the search, the specific image additional information related to the specific image is read from the storage unit, and the image having a feature amount similar to the specific image obtained by the search is acquired. And display position information indicating the position of the image area in the image data and the specific image additional information, and outputs to the display unit.
上述の課題を鑑み、本発明に係る表示画像検索装置は、被写体を撮影する撮影部により生成された撮影画像データと、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報とを入力する入力部と、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルと、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とに基づき、前記撮影画像データと前記特定画像データが類似する程度を示す特徴量類似度を算出する画像特徴量比較部と、前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、前記特定画像位置情報の位置に対して前記撮影位置情報の位置関係を示す位置類似度を算出する位置情報比較部と、前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出するオブジェクト特徴量比較部と、前記特徴量類似度、前記位置類似度、前記オブジェクト類似度に基づき、前記撮影画像データと類似する前記特定画像データを検索する画像認識部と、前記画像識別部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、前記画像識別部が検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、を備えることを特徴とする。 In view of the above-described problems, a display image search device according to the present invention indicates captured image data generated by a capturing unit that captures a subject, and a position where the capturing unit is present when the captured image data is generated. An input unit for inputting shooting position information, an image feature amount calculation unit for calculating a shot image feature amount indicating the feature of the image based on the shot image data, and a specific image indicating the feature of the specific image to be searched A specific image feature amount table associating specific image data representing the specific image with the feature amount information, and a specific image position associating the specific image data with specific image position information indicating a position previously associated with the specific image Object feature information for associating a table and object feature information indicating a feature of an object included in the specific image data with the specific image data The captured image based on the feature amount of the specific image and the captured image feature amount with reference to the specific image feature amount table, with reference to the specific image feature amount table. An image feature amount comparison unit that calculates a feature amount similarity indicating the degree of similarity between the data and the specific image data, and a position of the specific image position information based on the shooting position information with reference to the specific image position table Referring to the object feature information table, a position information comparison unit that calculates a position similarity indicating a positional relationship of the shooting position information with respect to the object included in the captured image data and the specific image data An object feature amount comparison unit for calculating an object similarity indicating the degree of similarity of the objects, the feature amount similarity, the position similarity, An image recognition unit that searches for the specific image data similar to the captured image data based on the object similarity, and when the image identification unit obtains the specific image by the search, a specific image addition related to the specific image is added A specific image additional information acquisition unit that reads information from the storage unit, display position information that indicates a position of an image region in captured image data having a feature amount similar to the specific image obtained by the search by the image identification unit, and And an output unit that outputs the specific image additional information to the display unit.
本発明によれば、マーカを利用せずに撮影した画像に応じたコンテンツを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the content according to the image image | photographed without utilizing a marker can be provided.
＜第１実施形態＞
以下、本発明の一実施形態による画像検索表示システムの一例について、図面を参照して詳細に説明する。図１は、本実施形態における画像検索表示システムの機能ブロック図である。
図１に示す通り、画像検索表示システムは、表示装置１と表示画像検索装置２を備える。本実施形態において、表示装置１と表示画像検索装置２は、ネットワークＮＷを介して通信可能に接続されている。
なお、本実施形態では、表示装置１と表示画像検索装置２は、それぞれ異なるデバイスであって、ネットワークＮＷを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置１が、表示画像検索装置２を内部に備える構成であってもよい。また、ネットワークＮＷは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線ＬＡＮ通信方式等を利用した通信を行うものであればよい。
<First Embodiment>
Hereinafter, an example of an image search and display system according to an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram of an image search / display system according to this embodiment.
As shown in FIG. 1, the image search / display system includes a
In the present embodiment, the
表示装置１は、例えば、カメラ付き携帯電話や、通信機能付きカメラ等のモバイルデバイスが利用可能である。この表示装置１は、拡張現実感技術を利用して得られるコンテンツを撮影された画像に合成して表示するＡＲモードを設定する機能が搭載されており、以下、このＡＲモードが設定されている場合に利用する機能と動作を中心に説明する。
As the
表示装置１は、端末制御部１１と、撮影部１２と、位置情報検出部１３と、計時部１４と、表示部１５と、通信部１６と、記憶部１７と、操作部１８を備える。
撮影部１２は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部１２は、被写体を撮影して画像データを出力する。
この撮影部１２は、画像データとして、撮影画像データＤ（ｎ）とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示するため撮影部１２から出力される画像データである。これにより、ユーザは、表示部１５に表示されている画像をみながら、表示部１５に表示された被写体を撮影することができる。
一方、撮影画像データＤ（ｎ）は、リアルタイム再生画像データに基づく画像が表示部１５に表示されている状態において、操作部１８が入力するユーザからの撮影指示に基づき、撮影部１２が被写体を撮影して得られる画像データである。
The
The
The photographing
On the other hand, in the state where the image based on the real-time reproduction image data is displayed on the
位置情報検出部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、表示装置１が撮影時に存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影位置情報Ｐ（ｎ）は、例えば、緯度、経度、高度により決定される地球上における絶対的な位置を示す。
なお、本実施形態において、撮影時とは、例えば、操作部１８のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データＤ（ｎ）が生成されたタイミングであってもよい。
The position
In the present embodiment, the time of shooting may be, for example, the timing when the user presses the shutter button of the
計時部１４は、年月日および時刻を計時しており、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する。
The
端末制御部１１は、表示装置１を統括的に制御する。この端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）｛ｎ＝１，２・・・｝に、この撮影画像データＤ（ｎ）が撮影された位置を示す撮影位置情報Ｐ（ｎ）と、この撮影画像データＤ（ｎ）が撮影された日時を示す撮影日時情報Ｔ（ｎ）とを対応付けて、記憶部１７に格納する。なお、ｎは、撮影部１２によって撮影された撮影画像データを他の撮影画像データから識別するための識別情報である撮影画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。
また、端末制御部１１は、撮影部１２によって連続的に撮影されるリアルタイム再生画像データを端末制御部１１から入力し、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示する。
この端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部１５に表示させる。
この表示位置情報が示す画像領域の形状が、特定画像付加情報が示す画像の出力形状と一致していない場合、端末制御部１１は、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。この端末制御部１１は、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部１５に出力する。例えば、特定画像付加情報である動画ファイル名の動画の出力形状が長方形の画像であって、表示位置情報が示す画像領域の形状が歪んでいる場合、特定画像付加情報取得部３２は、この歪みに応じて、動画の出力形状を変形処理する。
The
In addition, the
The
When the shape of the image area indicated by the display position information does not match the output shape of the image indicated by the specific image additional information, the
表示部１５は、例えば、液晶ディスプレイ等であって、端末制御部１１から入力する情報に基づく画像を表示する。
The
通信部１６は、ネットワークＮＷを介して表示画像検索装置２から送信される情報を受信して端末制御部１１に出力し、端末制御部１１から入力する情報をネットワークＮＷを介して表示画像検索装置２に送信する。
The
記憶部１７は、撮影部１２によって生成された撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）とを対応付けて記憶する。また、記憶部１７は、表示装置１が動作するためのプログラムを記憶する。
The
操作部１８は、例えば、電源のＯＮ／ＯＦＦを入力する電源ボタン、ユーザからの撮影指示を入力するシャッターボタン等を含む。
The
ここで、表示装置１の撮影部１２が取得した撮影画像データＤ（ｎ）の一例について、図２を参照して説明する。図２は、撮影画像の一例を示す図である。
図２に示す通り、撮影画像データＤ（ｎ）は、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルＢ１の画像が、画面中央にビルＢ１よりも小さいビルＢ２の画像が、それぞれ含まれている。このビルＢ１には、大型ディスプレイが設置されている。ビルＢ２には、貸広告を掲示する大きな貸広告スペースが設けられている。
このビルＢ１の大型ディスプレイは、右辺が長く、左辺が短く歪んでいる。また、ビル２の貸広告スペースは、上辺と下辺が湾曲している。
Here, an example of the photographed image data D (n) acquired by the photographing
As shown in FIG. 2, the captured image data D (n) is, for example, an image of a certain downtown area, and an image of a large building B1 on the right side of the screen and a building B2 smaller than the building B1 at the center of the screen. Each of these images is included. A large display is installed in this building B1. Building B2 is provided with a large rental advertisement space for posting rental advertisements.
The large display of this building B1 has a long right side and a short left side that is distorted. In addition, the rental advertising space of the
図１に戻って、表示画像検索装置２は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、画像識別部２７と、重畳領域抽出部２８と、第３記憶部２９と、オブジェクト特徴情報比較部３０と、第４記憶部３１と、特定画像付加情報取得部３２とを備える。
Returning to FIG. 1, the display
通信部２１は、表示装置１との間で情報の入出力を行うインターフェースであって、ネットワークＮＷを介して表示装置１から送信される撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。また、通信部２１は、特定画像付加情報取得部３２から入力する特定画像表示データＳ（ｎ）を、ネットワークＮＷを介して表示装置１に送信する。
なお、通信部２１は、本実施形態のように、表示装置１と表示画像検索装置２とがネットワークＮＷを介して接続されている場合、上述のように表示装置１と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置２が表示装置１に内蔵されている場合、表示装置１と情報の入出力を行う機能を有する。つまり、通信部２１は、表示装置１から情報を入力する入力部、および、表示装置１（表示部１５）へ情報を出力する出力部として機能する。
The
Note that, when the
第１記憶部２２は、例えば表示画像検索装置２の管理者により予め登録された特定画像位置テーブル２２０を記憶する。
この特定画像位置テーブル２２０は、図３に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像ＩＤは、特定画像を識別するための識別情報である。なお、この特定画像ＩＤが割り当てられている特定画像データは、この特定画像ＩＤと対応付けて第１記憶部２２に格納されている。
The
As shown in FIG. 3, the specific image position table 220 is a table that associates a specific image ID with specific image position information indicating a position where additional information related to the specific image can be provided. The specific image position information includes information indicating latitude, longitude, altitude, and position error allowable distance.
The specific image ID is identification information for identifying the specific image. Note that the specific image data to which the specific image ID is assigned is stored in the
例えば、第１記憶部２２は、図４に示すような、特定画像ＩＤ１、２、３の特定画像データ１００、２００、３００を格納している。なお、いずれの特定画像も、その画像が縦長の長方形であって、例えば、映画の宣伝用のポスター画像である。
図４に示す通り、特定画像データ１００は、特定画像ＩＤ１が割り当てられており、画面の中央にネコの画像を含む画像である。この特定画像データ１００は、画面の約６０％の範囲にネコの画像が表示されている。
特定画像データ２００は、特定画像ＩＤ２が割り当てられており、画面の上部に「映画タイトル」の文字画像を、この「映画タイトル」の下にネコの画像を、それぞれ含む画像である。この特定画像データ２００は、画面の約３０％の範囲にネコの画像が、画面の約２０％の範囲に「映画タイトル」の文字画像が、それぞれ表示されている。
特定画像データ３００は、特定画像ＩＤ３が割り当てられており、画面の中央に「映画タイトル」の文字画像を、この「映画タイトル」の上にネコの画像を、この「映画タイトル」の右下に「近日公開」の文字画像を、それぞれ含む画像である。この特定画像データ３００は、画面の約５％の範囲にネコの画像が、画面の約２０％の範囲に「映画タイトル」の文字画像が、画面の約５％の範囲に「近日公開」の文字画像が、それぞれ表示されている。
For example, the
As shown in FIG. 4, the specific image data 100 is an image that is assigned a specific image ID1 and includes a cat image in the center of the screen. In the specific image data 100, a cat image is displayed in a range of about 60% of the screen.
The specific image data 200 is assigned with a
The specific image data 300 is assigned with a
図３に戻って、緯度、経度、および高度は、特定画像ＩＤの特定画像データに対応する特定画像位置を示す情報である。この特定画像位置は、例えば、特定画像データが表わされたポスターや大型ディスプレイが設置されている位置である。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
Returning to FIG. 3, latitude, longitude, and altitude are information indicating the specific image position corresponding to the specific image data of the specific image ID. The specific image position is, for example, a position where a poster or a large display in which specific image data is represented is installed.
The position error allowable distance is information indicating a certain range that is regarded as a specific image position by latitude, longitude, and altitude. This position error allowable distance is, for example, a distance indicating the radius of a circle centered on the specific image position.
図１に戻って、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す画像特徴量（以下、撮影画像特徴量という）を算出する。この撮影画像特徴量は、例えば、色の成分、明るさ、エッジ画像等の画像の特徴を数値化したものである。なお、本実施形態において、撮影画像特徴量は、撮影画像全体に対応する特徴量のうち、一定の閾値以上の数値を有するもののみを表わす。
Returning to FIG. 1, the image
この撮影画像特徴量の一例を図５に示す。図５に示す通り、画像特徴量算出部２３は、例えば、撮影画像データＤ（ｎ）に基づき撮影画像特徴量を算出し、例えば、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を得る。
この撮影画像特徴量群Ｃ１は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群Ｃ２は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群Ｃ３は、撮影画像データＤ（ｎ）の画像内において、ビルＢ２の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴量である。
なお、撮影画像特徴量群Ｃ２とＣ３は、ともにネコの画像に対応する画像領域から算出される特徴量であり、その特徴量の分布は類似している。
An example of the photographed image feature amount is shown in FIG. As illustrated in FIG. 5, the image feature
This photographed image feature quantity group C1 is a feature quantity calculated from an image area corresponding to the character image of “movie title” displayed on the large display of the building B1 in the photographed image data D (n) image. .
The photographed image feature quantity group C2 is a feature quantity calculated from an image area corresponding to a cat image displayed on the large display of the building B1 in the photographed image data D (n) image.
The photographed image feature amount group C3 is a feature amount calculated from an image region corresponding to a cat image displayed in the rental advertisement space of the building B2 in the image of the photographed image data D (n).
Note that the photographed image feature amount groups C2 and C3 are both feature amounts calculated from an image region corresponding to a cat image, and the distribution of the feature amounts is similar.
図１に戻って、位置情報比較部２４は、通信部２１から撮影位置情報Ｐ（ｎ）を入力する。この位置情報比較部２４は、特定画像位置テーブル２２０を参照して、入力する撮影位置情報Ｐ（ｎ）に基づき、対応する特定画像ＩＤを検索する。つまり、位置情報比較部２４は、特定画像位置情報の示す範囲に撮影位置情報Ｐ（ｎ）の示す撮影位置を含む特定画像データを検索する。
言い換えると、位置情報比較部２４は、第１記憶部２２に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部２６による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
Returning to FIG. 1, the position
In other words, the position
具体的に説明すると、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）が示す位置が、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像位置範囲内となる特定画像ＩＤがあるか否かを判断する。この位置情報比較部２４は、この撮影位置情報Ｐ（ｎ）の示す位置が特定画像位置範囲内となる特定画像ＩＤを検索によって得た場合、この検索によって得た特定画像ＩＤを画面特徴量比較部２６に出力する。
なお、特定画像特徴量テーブル２５０において、特定の緯度、経度、高度、位置誤差許容距離と対応づけられていない特定画像ＩＤの特定画像データは、位置情報比較部２４により検索結果の候補から除外せず、位置情報比較部２４によって画像特徴量比較部２６に出力される。
More specifically, the position
In the specific image feature quantity table 250, the specific image data of the specific image ID that is not associated with the specific latitude, longitude, altitude, and position error allowable distance is excluded from the search result candidates by the position
第２記憶部２５は、例えば表示画像検索装置２の管理者により予め登録された特定画像特徴量テーブル２５０を記憶する。
この特定画像特徴量テーブル２５０は、図６に示す通り、特定画像ＩＤと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像ＩＤの特定画像データにおける特徴点特徴量の位置を示す。この特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す位置の特徴量を示す。なお、各特定画像ＩＤに対応付けられている特徴点特徴量の数は、各特定画像ＩＤに応じて決まる。
The
As shown in FIG. 6, the specific image feature amount table 250 is a table that associates a specific image ID with specific image feature amount information indicating the characteristics of the specific image. The specific image feature amount information includes information indicating the feature point ordinate, the feature point abscissa, and the feature point feature amount.
The feature point ordinate and feature point abscissa indicate the position of the feature point feature quantity in the specific image data of the corresponding specific image ID. This feature point feature amount indicates the feature amount at the position indicated by the feature point ordinate and the feature point abscissa. Note that the number of feature point feature quantities associated with each specific image ID is determined according to each specific image ID.
図１に戻って、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を読み出し、この特定画像ＩＤに対応する特徴量と、画像特徴量算出部２３によって算出された撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特徴量と類似する特徴量を有する特定画像を、特定画像候補として検出する。
Returning to FIG. 1, the image feature
具体的に説明すると、この画像特徴量比較部２６は、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量と撮影画像データＤ（ｎ）の撮影画像特徴量との類似度を示す特徴量類似度を算出し、この特徴量類似度が閾値以上の特定画像ＩＤの特定画像データを特定画像候補として検出する。この画像特徴量比較部２６は、この特定画像候補を示す特定画像ＩＤと、特定画像特徴量テーブル２５０においてこの特定画像ＩＤと対応付けられている特徴量とを対応付けた特定画像候補セットを取得し、画像識別部２７に出力する。なお、特徴量類似度が閾値以上の特定画像データが複数ある場合、複数の特定画像候補セットが検出される。
なお、特徴量類似度は、例えば、レベル１〜１０で示され、閾値がレベル５とする。また、レベル１は、特定画像の特徴量と撮影画像特徴量とが最も類似していないことを示し、レベル１０は特定画像の特徴量と撮影画像特徴量とが最も類似していることを示すものとする。
More specifically, the image feature
Note that the feature amount similarity is represented by
ここで、画像特徴量比較部２６による処理について、特定画像ＩＤ１〜３の中から特定画像候補を選択する例を用いて説明する。なお、本発明は、以下に説明する特定画像候補の選択方法に限られず、例えば、公知となっている画像認識関数等を利用しても実現可能である。
図５に示した通り、撮影画像特徴量群Ｃ２は、ネコの画像に対応する画像領域から算出された特徴量である。このため、このネコの画像を含む特定画像データ１００、２００、３００の特徴量と撮影画像特徴量群Ｃ２とは類似する。
画像特徴量比較部２６は、例えば、この撮影画像特徴量群Ｃ２と類似する特徴量の画像が特定画像データにおいて占める面積の割合に応じて、特徴量類似度を算出する。上述の通り、特定画像データ１００、２００、３００のそれぞれにおいて、ネコの画像の占める面積の割合は、６０％、３０％、５％である。よって、画像特徴量比較部２６は、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ２との特徴量類似度は、例えば、レベル６、３、０．５と算出する。
Here, the processing by the image feature
As shown in FIG. 5, the captured image feature amount group C2 is a feature amount calculated from an image region corresponding to a cat image. Therefore, the feature amount of the specific image data 100, 200, 300 including the cat image is similar to the photographed image feature amount group C2.
For example, the image feature
また、撮影画像特徴量群Ｃ１は、「映画タイトル」の文字画像に対応する画像領域から算出された特徴量である。このため、この「映画タイトル」の文字画像を含む特定画像データ２００、３００の特徴量と撮影画像特徴量群Ｃ１とは類似する。上述の通り、特定画像データ２００、３００のそれぞれにおいて、「映画タイトル」の文字画像の占める面積の割合は、ともに２０％である。よって、画像特徴量比較部２６は、特定画像データ２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ１との特徴量類似度は、例えば、レベル２と算出する。
The photographed image feature quantity group C1 is a feature quantity calculated from an image area corresponding to the character image of “movie title”. Therefore, the feature amount of the specific image data 200 and 300 including the character image of the “movie title” is similar to the captured image feature amount group C1. As described above, the ratio of the area occupied by the character image of “movie title” in each of the specific image data 200 and 300 is 20%. Therefore, the image feature
さらに、「映画タイトル」の文字画像の位置は、ネコの画像の上にあり、撮影画像特徴量群Ｃ１、Ｃ２との位置関係に基づき、特定画像データ２００の方が、特定画像データ３００に比べて、撮影画像特徴量群Ｃ１、Ｃ２と類似している。よって、画像特徴量比較部２６は、特定画像データ２００の特徴量と撮影画像特徴量群Ｃ１、Ｃ２との特徴量類似度は、例えば、レベル２と算出する。
Furthermore, the position of the character image of “movie title” is on the cat image, and the specific image data 200 is more specific than the specific image data 300 based on the positional relationship with the captured image feature groups C1 and C2. The captured image feature amount groups C1 and C2 are similar. Therefore, the image feature
画像特徴量比較部２６は、特定画像データ毎に算出した特徴量類似度を加算して、撮影画像特徴量群Ｃ１、Ｃ２との特徴点類似度を算出する。
これにより、画像特徴量比較部２６は、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ２００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ３００との特徴量類似度が「２．５」と算出する。
このように、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００、２００との特徴量類似が閾値のレベル５以上である。よって、画像特徴量比較部２６は、特定画像ＩＤ１、２を、撮影画像特徴量群Ｃ１、Ｃ２の特定画像候補として検出する。
The image feature
As a result, the image feature
As described above, the feature amount similarity between the captured image feature amount groups C1 and C2 and the specific image data 100 and 200 is the
なお、上述のようにして、画像特徴量比較部２６が、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ３との特徴量類似度を算出すると、それぞれの特徴点類似度は、レベル６、３、０．５となる。よって、画像特徴量比較部２６は、特定画像ＩＤ１を、撮影画像特徴量群Ｃ３の特定画像候補として検出する。
As described above, when the image feature
また、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の画像内における特定画像データの画像の歪みや、照明や設置環境等の撮影条件の違いに応じて、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を補正し、この補正した特定画像ＩＤに対応する特徴量と撮影画像特徴量とを比較する。これにより、撮影画像データＤ（ｎ）の画像内における特定画像データの画像が歪んでいる場合や、撮影条件が異なる場合であっても、撮影画像データＤ（ｎ）に含まれている特定画像を検出することができる。
なお、撮影条件とは、例えば、撮影時の照明が自然光（日中、夜間）、蛍光灯、白熱灯等であって照明の色や明るさ、特定画像データの画像が設置されている背景の色や明るさ、映り込みの有無や程度に応じて決められる。補正値は、このように想定される撮影時の状況の撮影条件に応じて、特徴量を補正する係数によって予め決められている。なお、この補正値は、例えば、第２記憶部２５に記憶されている。
よって、画像特徴量比較部２６は、特定画像特徴量テーブル２５０から読み出した特定画像データの特徴量に対して撮影条件や画像の歪みに応じた補正をかけた特徴量と、撮影画像特徴量とを比較して、特定画像データであると許容される類似度の閾値の範囲内であれば、撮影画像特徴量と類似する特徴量を有する特定画像データと認識する。一方、この類似度の閾値の範囲外である場合、画像特徴量比較部２６は、撮影画像特徴量と類似する特徴量を有しない特定画像データと認識し、この特定画像データを特定画像候補としては検出しない。
In addition, the image feature
Note that the shooting conditions include, for example, natural lighting (daytime, nighttime), fluorescent light, incandescent light, etc., and the background of the color and brightness of the lighting and the image of the specific image data. It is decided according to the color, brightness, presence or absence and the degree of reflection. The correction value is determined in advance by a coefficient for correcting the feature amount in accordance with the shooting condition of the situation at the time of shooting assumed in this way. In addition, this correction value is memorize | stored in the 2nd memory |
Therefore, the image feature
図１に戻って、画像識別部２７は、重畳領域抽出部２８に対して特定画像候補セットを出力し、撮影画像データＤ（ｎ）の画像内における特定画像候補の画像領域（以下、重畳領域という）を重畳領域抽出部２８に算出させる。この画像識別部２７は、重畳領域抽出部２８によって算出された重畳領域を示す座標情報（以下、重畳領域情報という）を入力する。
Returning to FIG. 1, the
重畳領域抽出部２８は、特徴量画像特徴量テーブル２５を参照して、画像識別部２７から入力する特定画像候補セットに基づき、撮影画像データＤ（ｎ）の画像内における特定画像候補の重畳領域を示す重畳領域情報を算出する。この重畳領域抽出部２８は、特定画像特徴量テーブル２５０において定義されている特徴点特徴量の位置（特徴点縦座標と特徴点横座標が示す位置）に応じて、この特徴点特徴量と類似する撮影画像特徴量群に対応する重畳領域を抽出する。重畳領域抽出部２８は、抽出した重畳領域の座標を、重畳領域情報として算出する。この重畳領域抽出部２８は、特定画像候補毎に重畳領域情報を算出し、特定画像候補の特定画像ＩＤと重畳領域情報とを対応付けた重畳領域セットを取得して、画像識別部２７に出力する。
この重畳領域抽出部２８は、例えば、特定画像候補と対応する特定画像の特徴量の特定画像特徴量テーブル２５０から読み出し、この特定画像の特徴量を表わす変換行列Ｍ（ｔ）を作成する。この変換行列Ｍ（ｔ）は、言い換えると、特定画像候補セットから特定画像特徴量テーブル２５０から読み出し特定画像の特徴量のセットへの変換行列である。重畳領域抽出部２８は、この変換行列Ｍ（ｔ）に基づき重畳領域の輪郭を示す座標を算出し、重畳領域情報を得る。
The superimposition
For example, the superimposed
ここで、重畳領域抽出部２８によって検出される重畳領域の一例について、図９を参照して説明する。図９は、撮影画像データＤ（ｎ）の撮影画像特徴量群Ｃ１〜Ｃ３に類似する特定画像候補の重畳領域を示す図である。
Ｒ１１、Ｒ１２は、特定画像ＩＤ１に対応する重畳領域を示す。Ｒ２１は、特定画像ＩＤ２に対応する重畳領域を示す。
図９に示す通り、撮影画像特徴量群Ｃ１、Ｃ２と類似する特徴量を有する特定画像データ１００の重畳領域Ｒ１１と特定画像データ２００の重畳領域Ｒ２１は、互いに、撮影画像特徴量群Ｃ２に対応する画像領域において重複している。
Here, an example of the overlapping area detected by the overlapping
R11 and R12 indicate overlapping regions corresponding to the specific image ID1. R21 indicates a superimposed region corresponding to the specific image ID2.
As shown in FIG. 9, the overlapping region R11 of the specific image data 100 and the overlapping region R21 of the specific image data 200 having feature amounts similar to the captured image feature amount groups C1 and C2 correspond to the captured image feature amount group C2. Overlap in the image area.
図１に戻って、画像識別部２７は、オブジェクト特徴情報比較部３０に対して、対応する重畳領域と特定画像候補との類似度を示すオブジェクト類似度を算出させる。この画像識別部２７は、オブジェクト特徴情報比較部３０によって算出されたオブジェクト類似度を入力する。
Returning to FIG. 1, the
この画像識別部２７は、撮影画像データＤ（ｎ）の画像内において、重畳領域が一定の閾値以上の面積で重複している特定画像候補の数を算出し、この特定画像候補が複数枚算出された場合、オブジェクト類似度を用いて、重畳領域の画像と最も類似する特定画像候補を選択する。
例えば、この画像識別部２７は、重畳領域が一定の閾値以上の面積で重複している複数の特定画像候補毎に、オブジェクト特徴情報比較部３０によって算出されるオブジェクト類似度が一定の閾値以上であるか否かを判断する。この画像識別部２７は、これら特定画像候補の中から、オブジェクト類似度が閾値以上の特定画像候補を取得する。
画像識別部２７は、重畳領域が一定の閾値以上の面積で重複している特定画像候補のうち、このオブジェクト類似度が閾値以上の特定画像候補を、重畳領域に含まれている特定画像と判断し、特定画像候補の中から検索によって得た画像（以下、検索特定画像という）として扱う。
The
For example, the
The
なお、画像識別部２７は、オブジェクト類似度が閾値以上の特定画像候補を複数取得した場合、そのオブジェクト類似度が最大の特定画像候補を１つ選択することで、重畳領域画像に最も類似する特定画像候補を取得する。画像識別部２７は、この最も類似する特定画像候補を、検索特定画像として扱う。
一方、重畳領域情報が示す重畳領域が他の重畳領域と重複していない場合、および、重複している場合であってもその重複している重畳領域が一定の閾値未満の面積である場合、画像識別部２７は、オブジェクト類似度に基づき、１つの特定画像候補を検索特定画像として選択する処理をすることなく、各重畳領域に対応する特定画像候補を検索特定画像として扱う。
画像識別部２７は、各重畳領域情報に検索特定画像の特定画像ＩＤを関連付けて特定画像付加情報取得部３２に出力する。
Note that when a plurality of specific image candidates having an object similarity equal to or greater than a threshold value are acquired, the
On the other hand, when the overlapping region indicated by the overlapping region information does not overlap with other overlapping regions, and even when overlapping, the overlapping overlapping region has an area less than a certain threshold value, Based on the object similarity, the
The
第３記憶部２９は、例えば表示画像検索装置２の管理者により予め登録されたオブジェクト情報テーブル２９０を記憶する。
このオブジェクト情報テーブル２９０は、図７に示す通り、特定画像ＩＤと、特定画像に含まれるオブジェクトの特徴を示すオブジェクト特徴情報とを対応付けるテーブルである。このオブジェクト特徴情報は、特定画像内オブジェクト種別と、画像内オブジェク縦座標と、画像内オブジェクト横座標と、特定画像内文字とを含む。
特定画像内オブジェクト種別は、例えば、イメージ、文字、図形等の属性の異なるオブジェクトの種別を示す。ここでは、「１」が文字、「２」が図形、「３」が表、「０」はその他のオブジェクトであることを示す。
画像内特徴座標縦座標と画像内特徴座標横座標は、特定画像ＩＤの示す特定画像データにおいて、オブジェクトを含む位置を示す。なお、このオブジェクトを含む位置は、特定画像データの画像を分割した領域で示すものであってもよく、画像の右上領域、画像の左下領域等によりその位置を特定するものであってもよい。
特定画像内文字は、特定画像内特徴種別が文字を示す場合、この文字の内容を示す。つまり、特定画像内文字は、特定画像内特徴種別が「１」の場合において、対応する特定画像ＩＤの示す特定画像データに含まれる文字列を示す。なお、特定画像内特徴種別が「１」以外の場合、ｎｕｌｌとする。
The
As shown in FIG. 7, the object information table 290 is a table that associates a specific image ID with object feature information indicating the characteristics of an object included in the specific image. This object feature information includes a specific image object type, an image object ordinate, an image object abscissa, and a specific image character.
The specific image object type indicates, for example, the type of an object having different attributes such as an image, a character, and a graphic. Here, “1” indicates a character, “2” indicates a figure, “3” indicates a table, and “0” indicates other objects.
The in-image feature coordinate ordinate and the in-image feature coordinate abscissa indicate a position including the object in the specific image data indicated by the specific image ID. The position including the object may be indicated by an area obtained by dividing the image of the specific image data, or may be specified by the upper right area of the image, the lower left area of the image, or the like.
The character in the specific image indicates the content of the character when the characteristic type in the specific image indicates a character. That is, the character in the specific image indicates a character string included in the specific image data indicated by the corresponding specific image ID when the characteristic type in the specific image is “1”. If the feature type in the specific image is other than “1”, it is set to null.
図１に戻って、オブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、画像識別部２７から入力する特定画像候補セットと重畳領域セットに基づき、撮影画像データの画像内における重畳領域の画像（以下、重畳領域画像という）に、重畳領域の特定画像ＩＤに対応するオブジェクトが含まれているか否かを判断する。
具体的にいうと、オブジェクト特徴情報比較部３０は、画像識別部２７によって重畳領域が一定の閾値以上の面積で重複している特定画像候補が複数枚算出された場合、この特定画像候補にそれぞれ対応する重畳領域画像に、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトが存在する可能性を示すオブジェクト類似度を算出する。
Returning to FIG. 1, the object feature
Specifically, the object feature
このオブジェクト類似度は、重畳領域画像と特定画像データの画像が類似している程度を示すものであって、撮影画像データＤ（ｎ）にこのオブジェクトが含まれている可能性を段階的に表わす情報である。例えば、オブジェクト特徴情報比較部３０は、撮影画像特徴量に基づき、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトの特徴を示す特徴量が撮影画像特徴量に含まれている可能性を算出する。
その結果、撮影画像データＤ（ｎ）において、各特定画像ＩＤと対応付けられているオブジェクト特徴情報と類似するオブジェクトが決められた位置に存在している場合、オブジェクト特徴情報比較部３０は、撮影画像データＤ（ｎ）にこのオブジェクトが含まれている可能性が高いことを示すオブジェクト類似度を算出する。この場合、オブジェクト類似度は高くなる。なお、このオブジェクトが類似しているとオブジェクト特徴情報比較部３０により判断される範囲は、オブジェクトの種類や位置に応じて予め決められている。
また、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトが、重畳領域画像に存在する可能性が低い場合、オブジェクト類似度は低い。
This object similarity indicates the degree to which the superimposed area image and the image of the specific image data are similar, and indicates the possibility that this object is included in the captured image data D (n) in a stepwise manner. Information. For example, the object feature
As a result, in the captured image data D (n), when an object similar to the object feature information associated with each specific image ID exists at the determined position, the object feature
Further, when the object defined in the object feature information table 290 is unlikely to exist in the superimposed area image, the object similarity is low.
例えば、オブジェクト特徴情報テーブル２９０における特定画像内オブジェクト種別が「１」（文字）である場合、オブジェクト特徴情報比較部３０は、光学文字認識（ Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ ）の技術を利用して、撮影画像データに含まれる文字画像を文字列に変換する。このオブジェクト特徴情報比較部３０は、ＯＣＲにより検出した文字列と、オブジェクト特徴情報テーブル２９０に定義されている特定画像内文字の文字列とを比較して、類似する範囲（例えば、一致する文字数が一定割合以上ある場合）内であるか否かを判断する。また、オブジェクト特徴情報比較部３０は、ＯＣＲにより検出した文字列が、重畳領域画像において、オブジェクト特徴情報テーブル２９０に定義されている画像内オブジェクト縦座標と画像内オブジェクト横座標が示す位置にあるか否かを判断する。このオブジェクト特徴情報比較部３０は、文字列の比較結果が類似する範囲内であり、かつ、定義されている位置にオブジェクトがあることが判断された場合、重畳領域画像が、これらオブジェクト特徴情報と対応付けられている特定画像ＩＤである可能性が高いことを示すオブジェクト類似度を算出する。なお、オブジェクト特徴情報比較部３０は、この文字列が類似している程度や、オブジェクトの位置が定義されている位置との誤差に応じて、この類似度を段階的に表わすことができる。
For example, when the object type in the specific image in the object feature information table 290 is “1” (character), the object feature
例えば、図９に示した通り、重畳領域Ｒ１１と重畳領域Ｒ２１とは、重複している。よって、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１が、それぞれの領域において重複する面積の割合を、閾値と比較する。ここで閾値は、各重畳領域において、他の重畳領域と重複する面積の割合が５０％であることとする。
画像識別部２７は、重畳領域Ｒ１１が、他の重畳領域Ｒ２１と面積の割合９０％で重複しているため、閾値以上であると判断し、この重畳領域Ｒ１１、Ｒ１２に対応するオブジェクト類似度を、オブジェクト特徴情報比較部３０に算出させる。
For example, as shown in FIG. 9, the overlapping region R11 and the overlapping region R21 overlap. Therefore, the
The
ここで、オブジェクト特徴情報比較部３０は、ＯＣＲより、重畳領域Ｒ２１の撮影画像特徴量群Ｃ１に対応する領域から文字列を検出し、オブジェクト特徴情報テーブル２９０を参照して、オブジェクト類似度を算出する。ここでは、オブジェクト特徴情報テーブル２９０において、特定画像ＩＤ２と対応付けられているオブジェクト特徴情報と、ＯＣＲにより検出した文字列が類似しているとする。オブジェクト特徴情報比較部３０は、重畳領域Ｒ２１のオブジェクト類似度として、特定画像ＩＤ２である可能性が高いことを示すオブジェクト類似度を算出する。
また、オブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、重畳領域Ｒ１１にオブジェクト特徴情報に対応するオブジェクトがあるか否かを判断する。ここでは、オブジェクト特徴情報比較部３０は、対応するオブジェクトがないと判断し、重畳領域Ｒ１１のオブジェクト類似度として、特定画像ＩＤ１である可能性が低いことを示すオブジェクト類似度を算出する。
Here, the object feature
Further, the object feature
よって、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１のそれぞれのオブジェクト類似度に基づき、重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する特定画像候補が、特定画像ＩＤ２であると判断する。これにより、オブジェクト特徴情報比較部３０は、特定画像ＩＤ２を、検索特定画像として扱う。
一方、重畳領域Ｒ１２は、他の重畳領域と重複していないため、画像識別部２７は、重畳領域Ｒ１２に対応する特定画像候補である特定画像ＩＤ１の特定画像を、検索特定画像として扱う。
Therefore, the
On the other hand, since the overlapping region R12 does not overlap with other overlapping regions, the
第４記憶部３１は、例えば表示画像検索装置２の管理者により予め登録された特定画像付加情報テーブル３１０を記憶する。
この特定画像付加情報テーブル３１０は、図８に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年／月／日と、時刻とを含む。特定画像付加情報は、例えば、コンテンツＵＲＬと、動画ファイル名と、スライドショー画像数と、スライドショー画像表示フレームレートとを含む。
The
As shown in FIG. 8, the specific image additional information table 310 includes a specific image ID, specific image additional information indicating additional information related to the specific image, and specific image additional information corresponding to the specific image ID. It is a table which matches imaging condition information which is information for further specifying according to conditions. This photographing condition information includes latitude, longitude, altitude, allowable position error distance, year / month / day, and time. The specific image additional information includes, for example, a content URL, a moving image file name, the number of slide show images, and a slide show image display frame rate.
緯度、経度、高度、位置誤差許容距離は、特定画像ＩＤに対応する特定画像付加情報を撮影時の位置に応じてさらに特化させることを可能にするための情報である。
年／月／日と、時刻は、特定画像ＩＤに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツＵＲＬは、特定画像と関連するコンテンツをインターネットを介して提供するＵＲＬ（ Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ ）である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第４の記憶部３１に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
The latitude, longitude, altitude, and position error allowable distance are information for allowing the specific image additional information corresponding to the specific image ID to be further specialized according to the position at the time of shooting.
The year / month / day and time are information for allowing the specific image additional information corresponding to the specific image ID to be further specialized according to the date and time at the time of shooting.
The content URL is a URL (Uniform Resource Locator) that provides content related to a specific image via the Internet.
The moving image file name is information indicating a moving image file associated with the specific image. Note that the moving image file indicated by the moving image file name is stored in the
The number of slide show images and the slide show image display frame rate are information indicating the number of slide show images associated with the specific image and the frame rate for displaying the slide show.
特定画像付加情報取得部３２は、画像識別部２７から、重畳領域情報に対応する検索特定画像の特定画像ＩＤを入力する。この特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、検索特定画像の特定画像ＩＤに基づき、この特定画像ＩＤに対応する特定画像付加情報を検索によって得る。
また、特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、通信部２１から入力する撮影位置情報と撮影日時情報に対応する特定画像付加情報を検索によって得る。
特定画像付加情報取得部３２は、検索によって得られた特定画像付加情報と、重畳領域情報を、通信部２１に出力する。なお、この特定画像付加情報取得部３２が通信部２１に出力する重畳領域情報は、表示装置１において、撮影画像データの重畳領域、特定画像付加情報を重畳して表示するための表示位置を示す情報であって、表示位置情報という。
通信部２１は、入力する特定画像付加情報と表示位置情報（重畳領域情報）を表示装置１に送信する。
The specific image additional
Further, the specific image additional
The specific image additional
The
次に、図１０、１１を参照して、本実施形態に係る画像検索表示方法の一例について説明する。図１０、１１は、本実施形態に係る画像検索表示方法の一例を説明するためのフローチャートである。
例えば、表示装置１の撮影部１２がリアルタイム再生画像データを取得して、端末制御部１１が表示部１５にリアルタイム再生画像データに基づく画像を表示している。この状態において、ユーザが操作部１８のシャッターボタンを押下すると、撮影部１２が、リアルタイム再生画像データに対応する画像を撮影する。つまり、撮影部１２は、撮影画像データＤ（ｎ）を取得して、端末制御部１１に出力する（ステップＳＴ１）。
Next, an example of an image search display method according to the present embodiment will be described with reference to FIGS. 10 and 11 are flowcharts for explaining an example of the image search and display method according to the present embodiment.
For example, the photographing
そして、撮影画像データＤ（ｎ）が取得されたタイミング（例えば、操作部１８のシャッターボタンが押下されたタイミング）で、位置情報検出部１３は、撮影時に表示装置１が存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影画像データＤ（ｎ）が取得されたタイミングで、計時部１４は、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する（ステップＳＴ２）。
Then, at the timing when the captured image data D (n) is acquired (for example, when the shutter button of the
次いで、端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）に、撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）を対応付けて、通信部１６に出力する。そして、通信部１６は、撮影画像データＤ（ｎ）と撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）をネットワークＮＷを介して表示画像検索装置２に送信する（ステップＳＴ３）。
Next, the
そして、表示画像検索装置２の通信部２１は、表示装置１から送信された撮影画像データＤ（ｎ）と撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。
次いで、位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報Ｐ（ｎ）に基づき、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像範囲内に、撮影位置情報Ｐ（ｎ）が示す位置を含む特定画像データを検索する（ステップＳＴ４）。
例えば、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）に対応する特定画像データとして、特定画像ＩＤ１〜１０の特定画像データを検索によって得る。
The
Next, the position
For example, the position
そして、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す撮影画像特徴量を算出し、画像特徴量比較部２６に出力する（ステップＳＴ５）。この画像特徴量算出部２３は、例えば、図５に示したような撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を含む撮影画像特徴量を算出する。
Then, the image feature
次いで、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像データの特徴量と、画像特徴量算出部２３によって算出された撮影画像データＤ（ｎ）の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の撮影画像特徴量に対応する特定画像候補を検出する（ステップＳＴ６）。
例えば、画像特徴量比較部２６は、特定画像特徴量テーブル２５０において各特定画像ＩＤ１〜３と対応付けられている特徴量と、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を含む撮影画像特徴量とを比較して、特徴量類似度を算出する。そして、画像特徴量比較部２６は、上述の通り、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ２００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像ＩＤ３の特定画像データ１００との特徴量類似度が「２．５」であると算出する。よって、画像特徴量比較部２６は、特定画像ＩＤ１、２を、撮影画像特徴量群Ｃ１、Ｃ２の特定画像候補として検出する。
また、画像特徴量比較部２６が、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ３との特徴量類似度を算出すると、それぞれの特徴点類似度は、レベル６、３、０．５となる。よって、画像特徴量比較部２６は、特定画像ＩＤ１を、撮影画像特徴量群Ｃ３の特定画像候補として検出する。
Next, the image feature
For example, the image feature
In addition, when the image feature
次いで、画像特徴量比較部２６は、ステップＳＴ６において検出された特定画像候補の重畳領域を算出する（ステップＳＴ７）。
この画像特徴量比較部２６は、例えば、図９に示したように、特定画像候補の重畳領域Ｒ１１、Ｒ１２、Ｒ２１を抽出し、これら重畳領域の座標を示す重畳領域情報を算出する。そして、画像特徴量比較部２６は、特定画像候補の特定画像ＩＤと重畳領域情報とを対応付けた重畳領域セットを取得して、画像識別部２７に出力する。
Next, the image feature
For example, as illustrated in FIG. 9, the image feature
そして、画像識別部２７は、撮影画像データＤ（ｎ）の画像内において、重畳領域が一定の閾値以上の面積で重複している特定画像候補の数を算出する（ステップＳＴ８）。
ここで、重畳領域Ｒ１１と重畳領域Ｒ２１とは、重複しているため、画像識別部２７は、複数の重畳領域が重複していると判断する（ステップＳＴ９−ＹＥＳ）。
Then, the
Here, since the overlapping region R11 and the overlapping region R21 overlap, the
次いで、オブジェクト特徴情報比較部３０が、オブジェクト特徴情報テーブル２９０を参照して、重複している特定画像候補の特定画像ＩＤ１、２とそれぞれの重畳領域Ｒ１１、Ｒ２１を示す重畳領域情報に基づき、オブジェクト類似度を算出する（ステップＳＴ１０）。
そして、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１のそれぞれのオブジェクト類似度に基づき、重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する特定画像候補が、特定画像ＩＤ２であると判断する。これにより、オブジェクト特徴情報比較部３０は、特定画像ＩＤ２を、検索特定画像として扱う（ステップＳＴ１１）。
そして、画像識別部２７は、この重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する検索特定画像が、特定画像ＩＤ２であることを示す情報を特定画像付加情報取得部３２に出力する。
Next, the object feature
Then, the
Then, the
この画像識別部２７は、全ての特定画像候補に対して、重複する重畳領域があるか否かの処理を行ったか否かを判断し（ステップＳＴ１２）、処理を行っていない場合、ステップＳＴ８に戻る。
一方、ステップＳＴ９において、重複する重畳領域がないと判断された場合、画像識別部２７は、ステップＳＴ１０、１１は行ない。例えば、画像識別部２７は、当該重畳領域Ｒ１１に対応する特定画像候補が、特定画像ＩＤ１であると判断するため、この場合ステップＳＴ１０、１１は行わない。
The
On the other hand, when it is determined in step ST9 that there are no overlapping overlapping regions, the
次いで、図１１に示す通り、特定画像付加情報取得部３２は、画像識別部２７から、重畳領域情報に対応する検索特定画像の特定画像ＩＤを入力する。
この特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、検索特定画像の特定画像ＩＤ、撮影位置情報、撮影日時情報に対応する特定画像付加情報を検索によって得る（ステップＳＴ１３）。
Next, as illustrated in FIG. 11, the specific image additional
The specific image additional
そして、特定画像付加情報取得部３２は、特定画像付加情報と、この特定画像付加情報に対応する重畳領域を示す表示位置情報とを、通信部２１に出力する（ステップＳＴ１４）。
Then, the specific image additional
次いで、通信部２１は、特定画像表示データと表示位置情報を対応付けた情報を、表示装置１に送信する（ステップＳＴ１５）。
Next, the
表示装置１の通信部１６は、特定画像表示データと表示位置情報を対応付けた情報を受信する（ステップＳＴ１６）。
そして、操作部１８から特定画像付加情報を表示部１５に表示させることを指示する操作情報を入力した場合（ステップＳＴ１７−ＹＥＳ）、端末制御部１１は、特定画像表示データと重畳領域情報に基づき、撮影画像データの対応する領域に特定画像付加情報を表示させる（ステップＳＴ１８）。
つまり、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部１５に表示させる。具体的には、端末制御部１１が、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。そして、端末制御部１１が、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部１５に出力する。この表示部１５は、この合成処理された撮影画像データに基づき、撮影画像データの重畳領域に特定画像付加情報を重畳して表示する。
The
And when the operation information which instruct | indicates to display the specific image additional information on the
That is, the
また、端末制御部１１は、特定画像付加情報に関連する関連情報を表示させることを指示する操作情報を操作部１８が入力した場合（ステップＳＴ１９−ＹＥＳ）、この関連情報を、表示部１５に表示させる（ステップＳＴ２０）。
In addition, when the
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図１２は、このコンテンツ等を提供する際に表示装置１に表示される画像の一例を説明する図である。
図１２（ａ）は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置１の撮影部１２が、図１２（ａ）に示すようなポスターを含む風景を被写体として撮影する。ここで、表示装置１の端末制御部１１は、ＡＲモードが設定されており、撮影により生成された撮影画像データと、撮影時に位置情報検出部１３により検出された撮影位置情報と、撮影時に計時部１４により計時された撮影日時情報を、表示画像検索装置２に送信する。
Next, a flow when providing content etc. to a user using the above-described display image search system will be described. FIG. 12 is a diagram illustrating an example of an image displayed on the
FIG. 12A is a diagram illustrating an example of photographed image data when a subject is photographed. For example, the photographing
そして、表示画像検索装置２の位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報に対応する特定画像を検索し、検索によって得られた特定画像の特定画像ＩＤを画像特徴量比較部２６に出力する。これにより、画像特徴量比較部２６による検索対象を、表示画像検索装置２に記憶されている全ての特定画像から撮影位置情報に対応した特定画像に絞り込むことができる。
また、画像特徴量算出部２３は、撮影画像データに基づき、撮影画像の特徴を示す撮影画像特徴量を算出し、画像特徴量比較部２６に出力する。
画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、撮影画像特徴量と類似する特徴量を有する特定画像を検出し、特定画像候補として画像識別部２７に出力する。ここで、画像特徴量比較部２６は、撮影画像特徴量と特定画像の特徴量と類似の程度を示す特徴量類似度を算出し、この特徴量類似度に応じて撮影画像データに含まれている可能性の高い特定画像を特定画像候補として検出する。
Then, the position
Further, the image feature
The image feature
重畳領域抽出部２８は、各特定画像候補の重畳領域を抽出し、撮影画像データの画面における重畳領域の座標を示す重畳領域情報を画像識別部２７に出力する。なお、複数の特定画像候補が検出された場合、重畳領域抽出部２８は、各特定画像候補に対応する重畳領域情報を算出する。
ここでは、１つの特定画像候補が検出され、図１２（ｂ）に示す通り、撮影画像の画面の右辺が左辺よりも長い台形で示される重畳領域Ｒ１３が抽出される。また、重畳領域情報は、例えば、この重畳領域Ｒ１３の四隅を示す座標である。なお、ここでは、検出された特定画像候補が１つであり、複数の重畳領域が重複することがないため、オブジェクト特徴情報比較部３０により算出されたオブジェクト類似度に基づき、画像識別部２７が複数の特定画像候補のうち、重複する重畳領域に対応する特定画像を選択する処理は実行されない。
そして、画像識別部２７は、特定画像候補と重畳領域情報を特定画像付加情報取得部３２に出力する。
The superimposition
Here, one specific image candidate is detected, and as shown in FIG. 12B, a superimposed region R13 in which the right side of the screen of the captured image is indicated by a trapezoid longer than the left side is extracted. The superimposition area information is, for example, coordinates indicating the four corners of the superimposition area R13. Here, there is one detected specific image candidate, and a plurality of overlapping regions do not overlap. Therefore, based on the object similarity calculated by the object feature
Then, the
特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、特定画像候補に対応する特定画像付加情報であって、入力する撮影位置情報や撮影日時情報に対応する特定画像付加情報を読み出し、重畳領域情報を示す表示位置情報を対応付けて通信部２１に出力する。つまり、表示装置１に提供するコンテンツとして、特定画像候補に対応する特定画像付加情報の中から、さらに、撮影時の位置や日時に応じて異なる特定画像付加情報を選択することができる。
例えば、特定画像位置テーブル２２０では、特定画像位置情報として、緯度、経度、高度が示す位置から半径数十キロ範囲と規定しておく。そして、特定画像付加情報テーブル３１０では、この特定画像位置テーブル２２０において規定する特定画像位置情報よりも狭い範囲、例えば、緯度、経度、高度が示す位置から半径数キロ範囲と規定しておく。
具体的に説明すると、位置情報比較部２４では、東京都２３区の地域と関連付けられた特定画像を検索により得るようにしておき、特定画像付加情報取得部３２では、このエリアよりも狭い、例えば渋谷や恵比寿といった各駅単位のエリアを規定しておく。これにより、東京都２３区に張り出された同一のポスターが特定画像として登録されている場合であっても、駅毎にユーザの撮影時の位置に近い映画館の情報を特定画像付加情報として提供することができる。
The specific image additional
For example, in the specific image position table 220, the specific image position information is defined as a range of several tens of kilometers from the position indicated by latitude, longitude, and altitude. In the specific image additional information table 310, a range narrower than the specific image position information defined in the specific image position table 220, for example, a range of several kilometers in radius from the position indicated by latitude, longitude, and altitude is defined.
More specifically, the position
表示装置１の通信部１６は、この特定画像付加情報と表示位置情報を受信し、端末制御部１１に出力する。この端末制御部１１は、特定画像付加情報のうち、例えば、動画ファイル等の画像を表示するコンテンツが含まれている場合、このコンテンツの表示形状を、重畳領域情報に基づき重畳領域Ｒ１３の外形に応じて変形処理をする。つまり、重畳領域Ｒ１３に内接する形状にコンテンツの外形を変形処理する。この端末制御部１１は、変形処理したコンテンツを、重畳領域情報が示す重畳領域Ｒ１３の上に重ねて表示するように合成処理した画面データを表示部１５に出力する。図８に示す例では、コンテンツ動画ファイル名や特定画像に対応付けられているコンテンツである。
これにより、この画像データに基づき、表示装置１の表示部１５は、図１２（ｂ）に示すように、重畳領域Ｒ１３に特定画像付加情報のコンテンツを重畳して表示することができる。
このコンテンツは、例えば、ポスターに掲載されている企業や映画等のテレビＣＭの動画等である。
The
Thereby, based on this image data, the
This content is, for example, a movie of a television commercial such as a company or a movie posted on a poster.
また、端末制御部１１は、表示部１３に表示した動画ファイルのコンテンツの再生が終了すると、続けて、コンテンツに関連するコンテンツ関連情報を閲覧するか否かをユーザに示す表示画面を表示部１５に表示させる。ここで、コンテンツ関連情報を閲覧することを指示する操作がユーザから操作部１８に入力すると、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報にコンテンツ関連情報が含まれている場合、このコンテンツ関連情報を表示部１５に表示する。図８に示す例では、コンテンツＵＲＬやスライドスライドショーに関する情報がコンテンツ関連情報である。
これにより、表示装置１の端末制御部１１は、通信部１６を介して、コンテンツＵＲＬにアクセスしてコンテンツ関連情報をダウンロードし、図１２（ｃ）に示すように、コンテンツ関連情報を表示部１５に表示する。
このコンテンツ関連情報は、例えば、ポスターに掲載されている企業や映画等とタイアップしているキャンペーン等に関する情報である。
In addition, when the reproduction of the content of the moving image file displayed on the
As a result, the
This content-related information is, for example, information related to a business or a tie-up with a company or a movie posted on a poster.
このように、表示装置１は、特定画像を含む風景を撮影することで、この特定画像に対応するコンテンツを、撮影した画像のうち特定画像に対応する部分に表示することができる。これにより、マーカ等をポスターの全面に表示せずとも、ＡＲを利用したコンテンツ提供を実現することができる。
よって、ポスターの内容としては、マーカに限られず、ＡＲを利用したコンテンツの提供を受けないユーザも認識できるようなデザイン性の高い写真や文字等を利用することができる。これにより、特定画像をポスターや大型ディスプレイに表示して、本実施形態に係るＡＲモードを利用したコンテンツを配信サービスの提供を受けないユーザに対しても、認識できる画像を表示することができる。また、ＡＲモードを利用したコンテンツの配信サービスの提供を受けるためにユーザが意識的にマーカを撮影せずとも、このＡＲモードを設定しておき、撮影した画像内に特定画像が含まれていれば、関連するコンテンツの提供をうけることができる。
これにより、撮影画像データに特定画像に類似する画像が含まれていれば、特定画像付加情報が重畳領域に重畳されて表示される。よって、特定画像付加情報が動画ファイルの場合、撮影した静止画の撮像画像データの一部に、動画が重畳して表示されるため、撮影した静止画が目の前で動き出したような画像を表示部１５に表示することができる。
As described above, the
Therefore, the content of the poster is not limited to the marker, and it is possible to use highly-designed photographs and characters that can be recognized by users who do not receive provision of content using AR. Thereby, a specific image can be displayed on a poster or a large display, and a recognizable image can be displayed even for a user who is not provided with a distribution service for content using the AR mode according to the present embodiment. In addition, in order to receive provision of a content distribution service using the AR mode, the AR mode is set without the user consciously shooting the marker, and a specific image is included in the shot image. For example, you can receive related content.
As a result, if the captured image data includes an image similar to the specific image, the specific image additional information is displayed superimposed on the overlapping region. Therefore, when the specific image additional information is a moving image file, the moving image is superimposed and displayed on a part of the captured image data of the captured still image. It can be displayed on the
また、表示画像検索装置２は、画像特徴量に基づき、撮影画像データ内における特定画像に類似する画像を特定画像候補として検出するとともに、複数の特定画像候補が検出された場合、オブジェクト類似度を算出して、最も類似する特定画像を決定する。この構成により、画像特徴量による類似度の判定では、その類似とする範囲を広く規定しておき、類似する複数の特定画像を特定画像候補として検出し、これらからオブジェクトに基づきその類似とする範囲を絞ることができる。
このように、本発明は、画像識別処理による「画像の特徴量」の類似度に、「画像が撮影された位置情報」および「特定画像に含まれる文字情報や画像情報等のオブジェクトならびにそれらの画像内における座標情報」を組み合わせて、撮影画像データと特定画像を比較処理する。この比較方法の採用により、従来方式に比べて誤識別や識別不可能となる場合を低減でき、従来よりも正確にモバイルデバイスで撮影された空間に付加情報の表示を可能とする。
Further, the display
As described above, according to the present invention, the similarity of the “image feature amount” obtained by the image identification processing is determined based on the “position information where the image is captured” and the “text information and image information included in the specific image, and the objects thereof. The captured image data and the specific image are compared with each other by combining the “coordinate information in the image”. By adopting this comparison method, it is possible to reduce the case of erroneous identification or inability to be identified as compared with the conventional method, and it is possible to display the additional information in the space photographed by the mobile device more accurately than the conventional method.
例えば、撮影条件が悪く撮影画像データにノイズが含まれる場合、撮影画像に含まれる特定画像の特徴量と、テーブルにおいて規定されている特定画像の特徴量とが大きく異なる場合がある。この場合、撮影画像の被写体として特定画像を含んでいるにも関わらず、撮影画像から特定画像を認識できない場合や、誤って他の特定画像を認識してしまう場合がある。
本願発明によれば、このような誤認識や認識不可能等の発生を防止し、撮影画像データに含まれる特定画像の検索精度を向上させることができる。また、特定画像が、撮影された画像内の仮想空間において、どの領域に存在するのか特定することができ、仮想空間内において特定画像が存在する領域に対応するコンテンツを表示することができる。
For example, when the shooting conditions are bad and noise is included in the captured image data, the feature amount of the specific image included in the captured image may be greatly different from the feature amount of the specific image defined in the table. In this case, although the specific image is included as the subject of the captured image, the specific image may not be recognized from the captured image, or another specific image may be erroneously recognized.
According to the present invention, it is possible to prevent the occurrence of such misrecognition and unrecognition, and improve the search accuracy of the specific image included in the captured image data. In addition, it is possible to specify in which region the specific image exists in the captured virtual space, and it is possible to display content corresponding to the region in which the specific image exists in the virtual space.
また、特定画像付加情報テーブル３１０において、コンテンツ等を規定する特定画像付加情報に加え、撮影条件情報を特定ＩＤに対応付けておき、特定画像付加情報取得部３２が、入力する撮影位置情報や撮影日時情報に対応する特定画像付加情報を検索する。これにより、同一の特定画像が検索によって得られた場合であっても、撮影時の位置や日時に応じて、配信するコンテンツを変更することができる。これにより、配信するコンテンツの属性に応じてコンテンツを配信することができる。
In addition, in the specific image additional information table 310, in addition to the specific image additional information that defines the content and the like, the shooting condition information is associated with the specific ID, and the specific image additional
次に、図１３を参照して、コンテンツを提供するサービスの一例について説明する。図１３は、本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
例えば、図１３（ａ）に示す通り、雑誌や新聞等の媒体に特定画像を掲載しておくことで、この特定画像に関連する広告のコンテンツや、ショッピングサイトのＵＲＬを、コンテンツやコンテンツ関連情報として提供することができる。
また、図１３（ｂ）に示す通り、ビルの大型ディスプレイや貸広告スペース等に特定画像である映画のポスターを表示することで、この風景を撮影した場合、映画の予告編の動画やこの映画が上映されている映画館の情報を、コンテンツやコンテンツ関連情報として提供することができる。この場合、特定画像付加情報テーブル３１０において、撮影条件情報として、各映画館の位置に応じた緯度、経度、高度で示される位置情報を設定して、特定画像付加情報と対応付けるデータを予め用意しておく。これにより、特定画像位置テーブル２２０に規定されている位置情報においては同一の範囲内とされる複数の映画館であって、撮影時にユーザが存在している位置により近い映画館の情報を配信することができる。
Next, an example of a service that provides content will be described with reference to FIG. FIG. 13 is a diagram for explaining an example of a service using the display image search system according to the present embodiment.
For example, as shown in FIG. 13A, by placing a specific image on a medium such as a magazine or a newspaper, the content of the advertisement related to the specific image or the URL of the shopping site can be changed to the content or content related information. Can be offered as.
In addition, as shown in FIG. 13B, by displaying a movie poster, which is a specific image, on a large display of a building, a rental advertisement space, etc., when this landscape is shot, a movie trailer movie or this movie is displayed. Information about the movie theater being screened can be provided as content or content-related information. In this case, in the specific image additional information table 310, position information indicated by latitude, longitude, and altitude corresponding to the position of each movie theater is set as shooting condition information, and data associated with the specific image additional information is prepared in advance. Keep it. As a result, information on a plurality of movie theaters within the same range in the position information defined in the specific image position table 220 and closer to the position where the user exists at the time of shooting is distributed. be able to.
＜第２実施形態＞
次に、図１４、１５を参照して、本発明に係る他の実施形態の一例について説明する。図１４は、第１、２の実施形態を含む概念を説明するための図である。
図１４に示す通り、本発明に係る表示画像検索装置２は、表示装置１の撮影部１２が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、以下の（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索する。この表示画像検索装置２は、撮影画像データに特定画像と類似する画像が含まれている場合、この特定画像に関連するコンテンツを、表示部１５が表示している撮影画像データ内の対応する領域に重畳して表示させる。また、コンテンツ関連情報が存在する場合、このコンテンツ関連情報を、コンテンツを表示した後に表示させる。
このように、表示画像検索装置２は、（Ａ）撮影画像データから検出されるオブジェクトと特定画像に含まれるオブジェクトの類似の程度を示すオブジェクト類似度、（Ｂ）撮影位置情報に基づき特定画像が存在する位置との距離、（Ｃ）撮影画像データから検出される撮影画像特徴量と特定画像の特徴量の類似の程度を示す特徴量類似度、に基づき、撮影画像データに含まれている特定画像を検索する。
Second Embodiment
Next, an example of another embodiment according to the present invention will be described with reference to FIGS. FIG. 14 is a diagram for explaining a concept including the first and second embodiments.
As shown in FIG. 14, the display
As described above, the display
上述の第１実施形態において、表示画像検索装置２は、最初に、（Ｂ）特定画像が存在する位置との距離に応じて、特定画像をある程度絞り、撮影位置情報に対応する特定画像に対して、（Ｃ）特徴量類似度を算出している。また、重畳領域が一定の割合の面積以上で重複する特定画像候補が検出された場合のみ、（Ａ）オブジェクト類似度を算出して、１つの特定画像候補に絞っている。このような処理手順で特定画像を決定することにより、処理対象となる特定画像の絞込みや、オブジェクト類似度の算出処理を省くことができるため、処理速度の向上に貢献し、装置に対する処理負荷を軽減することができる。
しかし本発明はこれに限られず、上述の通り（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索し、撮影画像の画像領域に応じて最も類似する特定画像に決定することができる。この一例を以下に説明する。
In the first embodiment described above, the display
However, the present invention is not limited to this, and as described above, based on the elements (A) to (C), it is searched whether or not the specific image is included in the captured image, and according to the image area of the captured image. The specific image that is most similar can be determined. An example of this will be described below.
図１５を参照して、第２実施形態に係る表示画像検索装置２´の構成について説明する。なお、各構成の基本的な機能は第１実施形態と同様であり、同一の符号を付すことで、詳細な説明は省略する。ここでは、各構成に入出力する情報や接続関係が異なることで、第１実施形態と異なる処理手順や機能について説明する。
図１５に示す通り、通信部２１が受信した撮影画像データは、画像特徴量算出部２３とオブジェクト特徴情報比較部３０に出力され、撮影位置情報は位置情報比較部２４に出力される。
With reference to FIG. 15, the configuration of the display
As shown in FIG. 15, the captured image data received by the
位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報に対応する特定画像を検索する。この位置情報比較部２４は、検索によって得た特定画像毎に、撮影位置情報が示す位置と、この特定画像の位置（特定画像ＩＤに対応付けられている緯度、経度、高度で示される位置）との距離の差（以下、距離誤差Ｘ（ｔ）と記す）を算出する。位置情報比較部２４は、特定画像位置テーブル２２０の位置誤差許容距離Ａ（ｔ）と距離誤差Ｘ（ｔ）との関係を示す位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））を算出する。言い換えると、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、位置誤差許容距離Ａ（ｔ）が示す特定画像位置範囲に対して、撮影位置情報が示す撮影位置の位置関係や距離関係を表わす関数式であって、特定画像データに割り当てられた位置に対して撮影位置の位置関係を示す。位置情報比較部２４は、検索によって得た特定画像を示す特定画像ＩＤと位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））を画像識別部２７に出力する。なお、ｔは、特定画像ＩＤを示す番号である。
The position
この位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、例えば、以下のような特性を有する関数式である。
例えば、距離誤差Ｘ（ｔ）≦位置誤差許容距離Ａ（ｔ）であるとき、撮影位置が特定画像位置範囲内にあるため、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、正の値とする。なお、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、特定画像位置範囲内において撮影位置情報が示す位置からどの程度位置がずれているかを示す。
一方、距離誤差Ｘ（ｔ）＞位置誤差許容距離Ａ（ｔ）であるとき、撮影位置が特定画像位置範囲外にあるため、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、負の値とする。なお、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、特定画像位置範囲に対して、撮影位置情報が示す位置からどの程度位置がずれているかを示す。
このような特性を有する位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、例えば、以下の式で示すことができる。
位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））＝ ｛Ａ（ｔ） − Ｘ（ｔ）｝／Ａ（ｔ）
・・・式１
なお、撮影位置が特定画像位置範囲に対してどの程度範囲の内外にあるかを示す値は、この関数ｆの傾きを任意に設定することにより算出することができる。また、この値は、傾きに限らず、他のやり方で数式に傾斜を与えられるものであってもよい。
This position similarity f (A (t), X (t)) is, for example, a functional expression having the following characteristics.
For example, when the distance error X (t) ≦ the position error allowable distance A (t), since the shooting position is within the specific image position range, the position similarity f (A (t), X (t)) is Positive value. Note that the position similarity f (A (t), X (t)) indicates how much the position is deviated from the position indicated by the shooting position information within the specific image position range.
On the other hand, when the distance error X (t)> the position error allowable distance A (t), since the shooting position is outside the specific image position range, the position similarity f (A (t), X (t)) is Negative value. Note that the position similarity f (A (t), X (t)) indicates how much the position is deviated from the position indicated by the shooting position information with respect to the specific image position range.
The position similarity f (A (t), X (t)) having such characteristics can be expressed by the following equation, for example.
Position similarity f (A (t), X (t)) = {A (t) −X (t)} / A (t)
...
It should be noted that a value indicating how much the photographing position is within or outside the specific image position range can be calculated by arbitrarily setting the slope of the function f. In addition, this value is not limited to the inclination, and may be an expression that can be given an inclination in another way.
オブジェクト特徴情報比較部３０は、撮影画像データに対して、ＯＣＲ処理やパターンマッチング等を行い、撮影画像データに含まれている文字列や図形等のオブジェクトを検出する。このオブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、撮影画像データから検出されたオブジェクトと、特定画像のオブジェクトとの類似の程度を示すオブジェクト類似度を算出する。このオブジェクト類似度は、例えば、オブジェクトが文字であれば、一致している文字の数Ｙ（ｔ）を各特定画像ＩＤ（ｔ）の文字数Ｃ（ｔ）で除算した数値で表わすことができる。このオブジェクト特徴情報比較部３０は、算出したオブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）を画像識別部２７に出力する。
The object feature
画像特徴量比較部２６は、特定画像特徴量テーブルを参照して、画像特徴量算出部２３によって算出された撮影画像特徴量と類似する特徴量を有する特定画像を検索する。この画像特徴量比較部２６は、撮影画像特徴量と特定画像の特徴量類似度Ｚ（ｔ）を算出して、閾値以上の特定画像を示す特定画像ＩＤと特徴量類似度を特定識別部２７に出力する。
The image feature
画像識別部２７は、入力する位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））、オブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）、特徴量類似度Ｚ（ｔ）に基づき、以下に式２に従って、特定画像類似度Ｑ（ｔ）を、特定画像毎に算出する。
Ｑ（ｔ）＝ａ×ｆ（Ａ（ｔ），Ｘ（ｔ））＋ｂ×Ｙ（ｔ）／Ｃ（ｔ）＋ｃ×Ｚ（ｔ）
・・・式２
なお、ａ、ｂ、ｃは、重み係数であって、任意に決められる数値である。
Based on the input position similarity f (A (t), X (t)), object similarity Y (t) / C (t), and feature quantity similarity Z (t), the
Q (t) = a * f (A (t), X (t)) + b * Y (t) / C (t) + c * Z (t)
...
Note that a, b, and c are weighting factors and are arbitrarily determined numerical values.
画像識別部２７は、この特定画像類似度Ｑ（ｔ）が最大となる特定画像ＩＤの特定画像を、撮影画像データの領域に応じて、検索特定画像と決定し、特定画像付加情報取得部３２に出力する。つまり、検出された特定画像のうち、特定画像類似度Ｑ（ｔ）が２番目、３番目に大きいものであって、自身の特定画像類似度Ｑ（ｔ）よりも大きい特定画像類似度Ｑ（ｔ）の特定画像と、撮影画像データ内において一定の割合で面積が重複していなければ、画像識別部２７は、検索特定画像として決定し、特定画像付加情報取得部３２に出力する。
ここで、画像識別部２７は、重畳領域抽出部２８に対して、例えば、特定画像類似度Ｑ（ｔ）が大きい上位１０個の特定画像に対応する重畳領域を抽出させ、上述の通り、撮影画像データ内において一定の割合で面積が重複しているか否かを判断できる。
The
Here, the
なお、上述の式２は、重み係数を変更することにより各項の関係を調整する一次関数を利用しているが、本発明はこれに限られず、ｎ次関数によって定義されるものであってもよい。
また、上述の式２は、この場合、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））、オブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）、特徴量類似度Ｚ（ｔ）のうち、画像識別部２７によって特定画像類似度Ｑ（ｔ）が算出される以前に特定画像の絞込みに利用されたものについては、対応する重み係数を「０」にすることによって、他の表示画像検索装置の構成において利用することができる。
In addition, although the above-described
Further, in this case, the
＜実施形態の応用＞
なお、本発明に係る表示画像検索装置２は、表示装置１の撮影部１２が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索するものとして説明した。本発明は、これら（Ａ）〜（Ｃ）の要素を組み合わせることによって、あるいは、新たな要素を追加することによって、撮影画像データに含まれる特定画像の検索精度を高めることができる。
<Application of the embodiment>
The display
例えば、オブジェクト類似度による比較においても、重畳領域が一定の割合以上の面積で重複する検索特定画像が絞り込めず、画像識別部２７から複数の検索特定画像が特定画像付加情報取得部３２に出力される場合がある。この場合、画像識別部２７は、オブジェクト類似度に基づき最も類似する１つの特定画像データを選択して検索特定画像を決定せずに、複数の特定画像データを特定画像付加情報取得部３２に出力するものであってもよい。この特定画像付加情報取得部３２は、特定画像付加情報テーブルを参照して、入力する複数の特定画像データの画像ＩＤの特定画像付加情報のうち、撮影位置情報および撮影日時情報が示す撮影条件情報に対応する特定画像付加情報を選択する。
これにより、撮影画像データにノイズが含まれ、撮影画像に含まれるオブジェクトと、テーブルにおいて規定されているオブジェクトとが大きく異なり、オブジェクト類似度の信頼性が低い場合であっても、撮影時のユーザの状況に応じた特定画像付加情報を提供することができる。
For example, even in the comparison based on the object similarity, search specific images in which the overlapping region overlaps with an area of a certain ratio or more cannot be narrowed down, and a plurality of search specific images are output from the
As a result, even if the captured image data includes noise, the object included in the captured image is significantly different from the object specified in the table, and the reliability of the object similarity is low, the user at the time of shooting Specific image additional information according to the situation can be provided.
また、重畳領域が一定の割合以上の面積で重複する特定画像のうち、１つの検索特定画像に絞り込めた場合であっても、特定画像付加情報取得部３２が、特定画像付加情報テーブルを参照して、撮影位置情報および撮影日時情報が示す撮影条件情報に対応する特定画像付加情報を選択することができる。これにより、撮影された特定画像が同一であっても、撮影した位置や日時に応じて、配信する特定画像付加情報を、特定画像付加情報テーブル３１０の撮影条件情報を変更することにより、変えることができる。
In addition, even if the specific image overlapping information is narrowed down to one search specific image among the specific images overlapping with an area of a certain ratio or more, the specific image additional
＜検索パターン＞
ここで、図１６を参照して、本発明に係る検索パターンを用いて、本願発明の概要について説明する。図１６（ａ）には、第１記憶部２２に記憶されている特定画像ＩＤ１〜４の特定画像データ１００、２００、３００、４００を示す。図示の通り、特定画像データ４００は、タワーが中央にある風景の画像である。
このように特定画像データ１００、２００、３００と、特定画像データ４００とは、画像に含まれる内容が異なるため、その画像特徴量も大きく異なる。
<Search pattern>
Here, with reference to FIG. 16, the outline of the present invention will be described using the search pattern according to the present invention. FIG. 16A shows specific image data 100, 200, 300, and 400 with
As described above, the specific image data 100, 200, and 300 and the specific image data 400 are different in the content included in the image, and thus the image feature amount is also greatly different.
次に、図１６（ｂ）を参照して、撮影した画像内に、これら特定画像データ１００、２００、３００のように、複数の似通った特定画像が含まれており、画像識別部２７によって複数の特定画像候補が検出された場合について説明する。
この場合、画像特徴量算出部２３による検索だけでは、特定画像データ１００、２００、３００のように複数の特定画像候補が残ってしまう可能性がある。この場合、図示の通り、各特定画像データ１００、２００、３００の重畳領域Ｒ１００、Ｒ２００、Ｒ３００は、仮想的に重なりあっており、この重なった部分に対応する特定画像候補を決定することができない。そこで、本願発明は、画像識別部２７によって、オブジェクト類似度に応じて、この重なった部分の撮影画像と類似する特定画像候補を選択することにより、画像認識の精度を高めることができる。
画像識別部２７は、上述の通り、オブジェクト類似度を用いることで、含まれているオブジェクトの類似する程度やオブジェクトの位置に応じた特定画像候補を選択することができる。また、画像識別部２７は、重畳領域が撮影画像データの画像サイズに占める面積の割合に応じて、複数の特定画像候補を絞るものであってもよい。
なお、このような検索パターンは、図２を参照して上述した検索パターンに対応するものである。つまり、ビルＢ１の大型ディスプレイにおいて、重畳領域が一定の割合以上の面積で重畳している特定画像ＩＤ１、２が検索により得られるため、画像識別部２７は、オブジェクト類似度に応じて、１つの特定画像に絞っている。
Next, referring to FIG. 16B, a plurality of similar specific images such as the specific image data 100, 200, 300 are included in the captured image, and a plurality of similar specific images are included by the
In this case, only the search by the image feature
As described above, the
Such a search pattern corresponds to the search pattern described above with reference to FIG. That is, in the large display of the building B1, the
次に、図１６（ｃ）を参照して、撮影した画像内に、複数の重畳領域に対応する特定画像を画像識別部２７が検索によって得た場合について説明する。
重畳領域Ｒ１０１、Ｒ１０２は、特定画像ＩＤ１に対応するものであり、重畳領域Ｒ４００は、特定画像ＩＤ４に対応するものである。
この場合、図示の通り、検出された複数の重畳領域Ｒ１０１、Ｒ１０２、Ｒ４００は、いずれも仮想的に重なっていない。
よって、画像識別部２７は、検索により得られた特定画像が、複数の領域に出現していて、複数の検索結果である重畳領域Ｒ１０１、Ｒ１０２、Ｒ４００にそれぞれ対応する特定画像ＩＤ１、１、４が有効であると判断する。この画像識別部２７によって有効と判断された特定画像は、通信部２１に出力される。
Next, with reference to FIG. 16C, a case will be described in which the
The overlapping regions R101 and R102 correspond to the specific image ID1, and the overlapping region R400 corresponds to the specific image ID4.
In this case, as shown in the drawing, none of the detected overlapping regions R101, R102, R400 virtually overlap.
Therefore, the
なお、本発明は上述の実施形態に限られず、例えば、以下のような構成であってもよい。
例えば、特定画像の形状は、上述の四角形や台形に限られず、円や三角形等の形状であってもよい。
In addition, this invention is not restricted to the above-mentioned embodiment, For example, the following structures may be sufficient.
For example, the shape of the specific image is not limited to the square or trapezoid described above, and may be a shape such as a circle or a triangle.
また、図１０、１１に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１に示す表示装置１および表示画像検索装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Also, a program for realizing each step shown in FIGS. 10 and 11 is recorded on a computer-readable recording medium, and the functions of the
The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
１１・・・端末制御部、１２・・・撮影部、１３・・・位置情報検出部、１４・・・計時部、１５・・・表示部、１６・・・通信部、１７・・・記憶部、１８・・・操作部、２１・・・通信部、２２・・・第１記憶部２２、２３・・・画像特徴量算出部、２４・・・位置情報比較部、２５・・・第２記憶部、２６・・・画像特徴量比較部、２７・・・画像識別部、２８・・・重畳領域抽出部、２９・・・第３記憶部、３０・・・オブジェクト特徴情報比較部、３１・・・第４記憶部、３２・・・特定画像付加情報取得部
DESCRIPTION OF
Claims (11)
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、
前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、
前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、
前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、
を備えることを特徴とする表示画像検索装置。 An input unit for inputting photographed image data generated by a photographing unit for photographing a subject;
An image feature amount calculation unit that calculates a captured image feature amount indicating a feature of the image based on the captured image data;
A specific image feature amount table for associating specific image feature amount information indicating the characteristics of the specific image to be searched with specific image data representing the specific image, a storage unit for storing specific image additional information related to the specific image, and
With reference to the specific image feature amount table, the feature amount of the specific image is compared with the captured image feature amount, and the specific image having a feature amount similar to the feature amount of the image included in the captured image data is obtained. An image feature amount comparison unit to be searched;
A specific image additional information acquisition unit that reads specific image additional information related to the specific image from the storage unit when the image feature amount comparison unit obtains the specific image by searching;
An output unit that outputs display position information indicating the position of an image region in captured image data having a feature amount similar to the specific image obtained by the search, and the specific image additional information to the display unit;
A display image retrieval apparatus comprising:
前記記憶部は、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルを記憶し、
前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報に対応する前記特定画像を検索する位置情報比較部を備え、
前記画像特徴量比較部は、前記位置情報比較部の検索により得られた前記特定画像の特徴量と前記撮影画像特徴量とを比較することを特徴とする請求項１に記載の表示画像検索装置。 The input unit inputs shooting position information indicating a position where the shooting unit is present when the shot image data is generated;
The storage unit stores a specific image position table associating the specific image data with specific image position information indicating a position related in advance to the specific image;
A position information comparison unit that refers to the specific image position table and searches for the specific image corresponding to the shooting position information based on the shooting position information;
The display image search device according to claim 1, wherein the image feature amount comparison unit compares the feature amount of the specific image obtained by the search of the position information comparison unit with the captured image feature amount. .
前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出し、当該オブジェクト類似度に基づき、前記撮影画像データと最も類似する前記特定画像データを検索して、検索により得た特定画像データを前記特定画像付加情報取得部に出力する画像認識部を、
さらに備えることを特徴とする請求項１あるいは２に記載の表示画像検索装置。 The storage unit stores an object feature information table that associates object feature information indicating a feature of an object included in the specific image data with the specific image data,
With reference to the object feature information table, an object similarity indicating the degree of similarity between the object included in the captured image data and the object included in the specific image data is calculated, and based on the object similarity, An image recognition unit that searches for the specific image data most similar to the captured image data and outputs the specific image data obtained by the search to the specific image additional information acquisition unit,
The display image search device according to claim 1, further comprising:
前記特定画像付加情報取得部は、前記検索により前記特定画像を得た場合、前記特定画像付加テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報が前記撮影条件情報の条件を満たす前記特定画像付加情報を前記記憶部から読み出すことを特徴とする請求項２あるいは３に記載の表示画像検索装置。 The storage unit stores a specific image additional information table associating shooting condition information indicating a condition previously associated with the specific image additional information with the specific image additional information;
When the specific image additional information acquisition unit obtains the specific image by the search, the specific image additional information acquisition unit refers to the specific image additional table and based on the shooting position information, the shooting position information satisfies the conditions of the shooting condition information. 4. The display image search device according to claim 2, wherein the specific image additional information is read from the storage unit.
前記画像特徴量比較部の検索により複数の特定画像が得られた場合、当該特定画像の特徴量と類似する特徴量を有する前記撮影画像データ内の画像領域を示す重畳領域同士が、予め決められた割合以上の面積で重複しているか否かを判断し、予め決められた割合以上の面積で前記重畳領域同士が重複している場合、前記オブジェクト特徴情報テーブルを参照して、オブジェクトに関して当該重畳領域の画像と当該重畳領域に対応する前記特定画像とが類似している程度を示す前記オブジェクト類似度を算出し、このオブジェクト類似度に基づき、前記撮影画像データにおいて前記重畳領域同士が重複している部分の画像と最も類似する前記特定画像データを選択することを特徴とする請求項３あるいは４に記載の表示画像検索装置。 The image recognition unit
When a plurality of specific images are obtained by the search of the image feature amount comparison unit, overlapping regions indicating image regions in the captured image data having a feature amount similar to the feature amount of the specific image are determined in advance. If the overlapping areas overlap with each other with a predetermined area or more, refer to the object feature information table and refer to the object overlapping information. The object similarity indicating the degree of similarity between the image of the region and the specific image corresponding to the overlapping region is calculated, and the overlapping regions overlap in the captured image data based on the object similarity. 5. The display image retrieval apparatus according to claim 3, wherein the specific image data that is most similar to an image of a certain portion is selected.
被写体を撮影して前記撮影画像データを生成する撮影部と、
前記特定画像表示データに基づく画像を表示する表示部と、
を備えることを特徴とする表示装置。 The display image search device according to any one of claims 1 to 5,
A photographing unit for photographing a subject and generating the photographed image data;
A display unit for displaying an image based on the specific image display data;
A display device comprising:
入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする請求項６に記載の表示装置。 The display device
Based on the input display position information, the display shape of the specific image additional information related to the specific image is transformed in accordance with the shape of the superimposition region of the specific image, and the specific image additional information is combined with the superimposition region. The display device according to claim 6, wherein the processed captured image data is displayed on the display unit.
前記表示画像検索装置とネットワークを介して接続され、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備える表示装置と
を備えることを特徴とする表示画像検索システム。 The display image search device according to any one of claims 1 to 5,
A display device that is connected to the display image search device via a network and includes a photographing unit that photographs a subject and generates the photographed image data; and a display unit that displays an image based on the specific image display data. A display image retrieval system comprising:
入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする請求項８に記載の表示画像検索システム。 The display device
Based on the input display position information, the display shape of the specific image additional information related to the specific image is transformed in accordance with the shape of the superimposition region of the specific image, and the specific image additional information is combined with the superimposition region. 9. The display image search system according to claim 8, wherein the processed photographed image data is displayed on the display unit.
被写体を撮影する撮影部により生成された撮影画像データを入力し、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出し、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索し、
検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出し、
前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する
ことを特徴とする表示画像検索方法。 In a display image search method for searching for an image corresponding to a photographed image,
Input the captured image data generated by the imaging unit that captures the subject,
Based on the captured image data, a captured image feature amount indicating the characteristics of the image is calculated,
With reference to a specific image feature amount table that associates specific image feature amount information indicating features of a specific image that is a search target with specific image data representing the specific image, the feature amount of the specific image and the captured image feature amount are obtained. Comparing, searching for the specific image having a feature amount similar to the feature amount of the image included in the captured image data,
When the specific image is obtained by the search, the specific image additional information related to the specific image is read from the storage unit,
Display position information indicating the position of an image area in captured image data having a feature quantity similar to the specific image obtained by the search and the specific image additional information are output to a display unit. retrieval method.
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルと、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、
前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とに基づき、前記撮影画像データと前記特定画像データが類似する程度を示す特徴量類似度を算出する画像特徴量比較部と、
前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、前記特定画像位置情報の位置に対して前記撮影位置情報の位置関係を示す位置類似度を算出する位置情報比較部と、
前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出するオブジェクト特徴量比較部と、
前記特徴量類似度、前記位置類似度、前記オブジェクト類似度に基づき、前記撮影画像データと類似する前記特定画像データを検索する画像認識部と、
前記画像識別部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、
前記画像識別部が検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、
を備えることを特徴とする表示画像検索装置。 An input unit for inputting captured image data generated by an imaging unit that captures an object, and imaging position information indicating a position where the imaging unit was present when the captured image data was generated;
An image feature amount calculation unit that calculates a captured image feature amount indicating a feature of the image based on the captured image data;
A specific image feature amount table for associating specific image feature amount information indicating the characteristics of the specific image to be searched with specific image data representing the specific image, and a specific image position indicating a position associated with the specific image in advance A specific image position table for associating the specific image data with information, an object feature information table for associating object characteristic information indicating the characteristics of an object included in the specific image data with the specific image data, and a specific associated with the specific image A storage unit for storing image additional information;
An image for calculating a feature amount similarity indicating the degree of similarity between the captured image data and the specific image data based on the feature amount of the specific image and the captured image feature amount with reference to the specific image feature amount table A feature comparison unit;
A position information comparison unit that refers to the specific image position table and calculates a position similarity indicating a positional relationship of the shooting position information with respect to the position of the specific image position information based on the shooting position information;
An object feature amount comparison unit that refers to the object feature information table and calculates an object similarity indicating the degree of similarity between the object included in the captured image data and the object included in the specific image data;
An image recognition unit that searches for the specific image data similar to the captured image data based on the feature quantity similarity, the position similarity, and the object similarity;
A specific image additional information acquisition unit that reads specific image additional information related to the specific image from the storage unit when the image identification unit obtains the specific image by a search;
An output unit for outputting display position information indicating the position of an image area in captured image data having a feature quantity similar to the specific image obtained by the search by the image identification unit, and the specific image additional information to the display unit; ,
A display image retrieval apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010197019A JP5544250B2 (en) | 2010-09-02 | 2010-09-02 | Display image search method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010197019A JP5544250B2 (en) | 2010-09-02 | 2010-09-02 | Display image search method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012053776A true JP2012053776A (en) | 2012-03-15 |
| JP5544250B2 JP5544250B2 (en) | 2014-07-09 |
Family
ID=45906989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010197019A Expired - Fee Related JP5544250B2 (en) | 2010-09-02 | 2010-09-02 | Display image search method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5544250B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013214158A (en) * | 2012-03-30 | 2013-10-17 | Ntt Comware Corp | Display image retrieval device, display control system, display control method, and program |
| WO2013187130A1 (en) * | 2012-06-12 | 2013-12-19 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2014238815A (en) * | 2014-02-04 | 2014-12-18 | 株式会社リコー | Information processing system, information providing method, terminal device, and program |
| CN104808956A (en) * | 2014-01-23 | 2015-07-29 | 富士通株式会社 | System and method for controlling a display |
| JP2015141507A (en) * | 2014-01-28 | 2015-08-03 | 三菱重工業株式会社 | Maintenance work support system and maintenance work support method |
| JP2016057901A (en) * | 2014-09-10 | 2016-04-21 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| JP2018181143A (en) * | 2017-04-19 | 2018-11-15 | Kddi株式会社 | Three-dimensional space information display system and three-dimensional space information display method |
| JP2020107196A (en) * | 2018-12-28 | 2020-07-09 | キヤノン株式会社 | Image processing device or image processing server |
| JP2020198102A (en) * | 2014-12-11 | 2020-12-10 | 株式会社リリピア | Information presentation device, information presentation system, information presentation method, and information presentation program |
| JP2021534518A (en) * | 2018-08-08 | 2021-12-09 | パピーレッド インク． | Augmented reality content provision system and method |
| JPWO2023095770A1 (en) * | 2021-11-24 | 2023-06-01 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000207420A (en) * | 1998-11-12 | 2000-07-28 | Nippon Telegr & Teleph Corp <Ntt> | Similar image search system, similar image search method, and recording medium storing similar image search program |
| JP2004213398A (en) * | 2003-01-06 | 2004-07-29 | Fujitsu Ltd | Similar image determination method and image processing apparatus having similar image determination function |
| JP2007041762A (en) * | 2005-08-02 | 2007-02-15 | Seiko Epson Corp | Image recognition device |
| JP2008046806A (en) * | 2006-08-14 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | Image processing method, image processing apparatus, and program |
| JP2009140296A (en) * | 2007-12-07 | 2009-06-25 | Canon Inc | Image processing apparatus and image processing method |
-
2010
- 2010-09-02 JP JP2010197019A patent/JP5544250B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000207420A (en) * | 1998-11-12 | 2000-07-28 | Nippon Telegr & Teleph Corp <Ntt> | Similar image search system, similar image search method, and recording medium storing similar image search program |
| JP2004213398A (en) * | 2003-01-06 | 2004-07-29 | Fujitsu Ltd | Similar image determination method and image processing apparatus having similar image determination function |
| JP2007041762A (en) * | 2005-08-02 | 2007-02-15 | Seiko Epson Corp | Image recognition device |
| JP2008046806A (en) * | 2006-08-14 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | Image processing method, image processing apparatus, and program |
| JP2009140296A (en) * | 2007-12-07 | 2009-06-25 | Canon Inc | Image processing apparatus and image processing method |
Non-Patent Citations (2)
| Title |
|---|
| 天目隆平、外４名: "ポスタを利用した複合現実感用幾何位置合わせ", 日本バーチャルリアリティ学会論文誌, vol. 第１４巻，第３号, JPN6013064842, 30 September 2009 (2009-09-30), JP, pages 351 - 360, ISSN: 0002719348 * |
| 柴田史久: "４ 応用１：モバイルＡＲ 位置情報に基づくＡＲシステム", 情報処理, vol. 第５１巻，第４号, JPN6013064844, 15 April 2010 (2010-04-15), JP, pages 385 - 391, ISSN: 0002719349 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013214158A (en) * | 2012-03-30 | 2013-10-17 | Ntt Comware Corp | Display image retrieval device, display control system, display control method, and program |
| JPWO2013187130A1 (en) * | 2012-06-12 | 2016-02-04 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| WO2013187130A1 (en) * | 2012-06-12 | 2013-12-19 | ソニー株式会社 | Information processing device, information processing method, and program |
| EP2860702A4 (en) * | 2012-06-12 | 2016-02-10 | Sony Corp | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM THEREOF |
| CN104808956A (en) * | 2014-01-23 | 2015-07-29 | 富士通株式会社 | System and method for controlling a display |
| JP2015141507A (en) * | 2014-01-28 | 2015-08-03 | 三菱重工業株式会社 | Maintenance work support system and maintenance work support method |
| JP2014238815A (en) * | 2014-02-04 | 2014-12-18 | 株式会社リコー | Information processing system, information providing method, terminal device, and program |
| JP2016057901A (en) * | 2014-09-10 | 2016-04-21 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| US9721163B2 (en) | 2014-09-10 | 2017-08-01 | Fujifilm Corporation | Image processing apparatus, image processing method, and recording medium |
| JP2020198102A (en) * | 2014-12-11 | 2020-12-10 | 株式会社リリピア | Information presentation device, information presentation system, information presentation method, and information presentation program |
| JP2018181143A (en) * | 2017-04-19 | 2018-11-15 | Kddi株式会社 | Three-dimensional space information display system and three-dimensional space information display method |
| JP2021534518A (en) * | 2018-08-08 | 2021-12-09 | パピーレッド インク． | Augmented reality content provision system and method |
| JP2020107196A (en) * | 2018-12-28 | 2020-07-09 | キヤノン株式会社 | Image processing device or image processing server |
| JP7282519B2 (en) | 2018-12-28 | 2023-05-29 | キヤノン株式会社 | Image processing device or image processing server |
| JPWO2023095770A1 (en) * | 2021-11-24 | 2023-06-01 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5544250B2 (en) | 2014-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5544250B2 (en) | Display image search method | |
| US8988456B2 (en) | Generating digital media presentation layouts dynamically based on image features | |
| CN103415849B (en) | For marking the Computerized method and equipment of at least one feature of view image | |
| US9076069B2 (en) | Registering metadata apparatus | |
| US9286624B2 (en) | System and method of displaying annotations on geographic object surfaces | |
| CN101373138B (en) | Image reproduction device and image reproduction method thereof | |
| JP5006195B2 (en) | Image data management apparatus and image data management method | |
| US10089762B2 (en) | Methods for navigating through a set of images | |
| CN101799621B (en) | Shooting method and shooting equipment | |
| JP2014071850A (en) | Image processing apparatus, terminal device, image processing method, and program | |
| Chen et al. | Building book inventories using smartphones | |
| JP6591594B2 (en) | Information providing system, server device, and information providing method | |
| JP2010218372A (en) | Server system, terminal device, program, information storage medium, and image retrieval method | |
| KR20100054056A (en) | Method, system and computer-readable recording medium for providing service using electronic map | |
| KR20100065918A (en) | A method for geo-tagging of pictures and apparatus thereof | |
| JP2013210974A (en) | Retrieval image registration device, retrieval image display system, retrieval image registration method and program | |
| JP2015022631A (en) | Information processor, information processing system and program | |
| US20180189602A1 (en) | Method of and system for determining and selecting media representing event diversity | |
| US20150379040A1 (en) | Generating automated tours of geographic-location related features | |
| JP2013214158A (en) | Display image retrieval device, display control system, display control method, and program | |
| KR101640020B1 (en) | Augmentated image providing system and method thereof | |
| CN110377791A (en) | Fast image sort method | |
| US20250021749A1 (en) | Memo processing device based on augmented reality, system, and method therefor | |
| JP5967036B2 (en) | Image search system, information processing apparatus, and program | |
| Semaan et al. | Camera pose estimation using collaborative databases and single building image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140512 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5544250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |