JP2024052421A - Information processing device, information processing method, and information processing program - Google Patents
Information processing device, information processing method, and information processing program Download PDFInfo
- Publication number
- JP2024052421A JP2024052421A JP2022159123A JP2022159123A JP2024052421A JP 2024052421 A JP2024052421 A JP 2024052421A JP 2022159123 A JP2022159123 A JP 2022159123A JP 2022159123 A JP2022159123 A JP 2022159123A JP 2024052421 A JP2024052421 A JP 2024052421A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- evaluator
- user
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 282
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000011156 evaluation Methods 0.000 claims abstract description 126
- 230000004044 response Effects 0.000 claims description 34
- 239000013598 vector Substances 0.000 description 47
- 238000013527 convolutional neural network Methods 0.000 description 44
- 238000000034 method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010029897 Obsessive thoughts Diseases 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来、入力された情報の分散表現を生成し、生成した分散表現同士の比較結果に基づいて、情報の関係性を判定する技術が知られている。このような技術の一例として、商品が備える特徴を表わす商品情報と、単語間の関係性を表す単語情報と、ユーザの嗜好に応じて行動の対象になった商品を表わす学習データとに基づいて、マップ空間上の位置を表わす隠れ特徴ベクトルを、ユーザおよび商品のそれぞれについて推定する技術が提供されている。 Conventionally, there is known a technique for generating distributed representations of input information and determining the relationship between information based on the results of comparing the generated distributed representations. One example of such a technique is a technique for estimating hidden feature vectors representing positions in map space for each user and product, based on product information representing the characteristics of the product, word information representing the relationships between words, and learning data representing products that have been the subject of actions based on the user's preferences.
しかしながら、上述した技術では、被服が着用者に似合っているかを把握することができるとは限らない。 However, the above-mentioned technology does not necessarily allow for a determination of whether clothing suits the wearer.
例えば、上述した技術では、ユーザの隠れ特徴ベクトルと商品の隠れ特徴ベクトルとの距離が、当該商品に対するユーザの嗜好を反映した距離となるように隠れ特徴ベクトルを推定しているに過ぎず、被服が着用者に似合っているかを把握することができるとは限らない。 For example, the above-mentioned technology merely estimates the hidden feature vector so that the distance between the user's hidden feature vector and the product's hidden feature vector reflects the user's preferences for that product, and does not necessarily make it possible to determine whether the clothing suits the wearer.
本願は、上記に鑑みてなされたものであって、被服が着用者に似合っているかを把握することを目的とする。 This application was made in light of the above, and aims to determine whether clothing suits the wearer.
本願に係る情報処理装置は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部と、前記受付部により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成部とを有することを特徴とする。 The information processing device according to the present application is characterized by having a reception unit that receives evaluations from a plurality of evaluators of an image of a wearer wearing clothing, the evaluations indicating whether the clothing suits the wearer, and a generation unit that generates a distributed representation space into which the image and evaluator information indicating the evaluators are projected based on the evaluations received by the reception unit.
実施形態の一態様によれば、被服が着用者に似合っているかを把握することができるという効果を奏する。 According to one aspect of the embodiment, it is possible to determine whether the clothing suits the wearer.
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Below, the information processing device, information processing method, and information processing program according to the present application will be described in detail with reference to the drawings. Note that the information processing device, information processing method, and information processing program according to the present application are not limited to these embodiments. In addition, the same parts in the following embodiments will be denoted by the same reference numerals, and duplicated descriptions will be omitted.
（実施形態）
〔１．情報処理システムの構成〕
まず、実施形態に係る情報処理システム１について説明する。図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、利用者端末１００と、評価者端末２００とが含まれる。情報処理装置１０と、利用者端末１００と、評価者端末２００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。なお、図１に示した情報処理システム１には、複数台の情報処理装置１０、複数台の利用者端末１００及び複数台の評価者端末２００が含まれてもよい。
(Embodiment)
1. Configuration of the information processing system
First, an
情報処理装置１０は、複数の被服（ファッションアイテムともいい、履物（シューズともいう）や帽子（キャップやハットなど）、装身具（アクセサリともいう）なども含む）の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者（アノテーター）から受け付け、受け付けられた評価に基づいて、当該画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成し、生成した分散表現空間を用いた情報処理を実現する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。
The
また、例えば、情報処理装置１０は、被服を提供（検索、販売等）する電子商取引サービスを提供する。また、情報処理装置１０は、被服のコーディネートを示すコンテンツ（画像、動画、記事等）の投稿を利用者から受け付け、他の利用者に提供（検索、配信等）するコーディネートサービスを提供する。
For example, the
なお、情報処理装置１０は、サービスに係るウェブサイトを提供するウェブサーバとしての機能を有していてもよい。また、情報処理装置１０は、利用者端末１００にインストールされた各種サービスに関するアプリケーションに表示する情報を、情報処理装置１０に配信する装置であってもよい。また、情報処理装置１０は、アプリケーションのデータそのものを配信する装置であってもよい。
The
また、情報処理装置１０は、利用者端末１００に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、情報処理装置１０から配信されるアプリケーションそのものを制御情報とみなしてもよい。
The
利用者端末１００は、利用者によって利用される情報処理装置である。利用者端末１００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、利用者端末１００は、情報処理装置１０や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図２に示す例では、利用者端末１００がスマートフォンである場合を示す。
The
評価者端末２００は、複数の被服の組み合わせを着用した着用者の画像に対する評価を行う評価者によって利用される情報処理装置である。評価者端末２００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。また、評価者端末２００は、情報処理装置１０や、所定のサービスを提供するサーバ装置などによって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図２に示す例では、評価者端末２００がスマートフォンである場合を示す。
The evaluator terminal 200 is an information processing device used by an evaluator who evaluates images of a wearer wearing a combination of multiple clothes. The evaluator terminal 200 is realized, for example, by a smartphone, a tablet terminal, a notebook PC, a desktop PC, a mobile phone, a PDA, or the like. The evaluator terminal 200 also displays information distributed by the
〔２．情報処理の一例〕
次に、図２～４を用いて、本実施形態に係る情報処理装置等により実現される情報処理の一例について説明する。
2. An example of information processing
Next, an example of information processing implemented by the information processing device according to the present embodiment will be described with reference to FIGS.
〔２－１．第１の情報処理について〕
以下、図２を用いて、本実施形態に係る情報処理装置等により実現される第１の情報処理について説明する。図２は、実施形態に係る情報処理の一例を示す図（１）である。なお、以下の説明では、利用者端末１００が、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者（利用者Ｕ１）により利用されるものとする。また、以下の説明では、利用者端末１００を利用者Ｕ１と同一視する場合がある。すなわち、以下では、利用者Ｕ１を利用者端末１００と読み替えることもできる。
[2-1. Regarding the first information processing]
The first information processing realized by the information processing device etc. according to this embodiment will be described below with reference to FIG. 2. FIG. 2 is a diagram (1) showing an example of information processing according to this embodiment. In the following description, it is assumed that the
また、以下の説明では、評価者端末２００を利用する評価者に応じて、評価者端末２００－１～２００－Ｎ（Ｎは任意の自然数）として説明する。例えば、評価者端末２００－１は、評価者ＩＤ「ＡＩＤ＃１」により識別される評価者（評価者Ａ１）により使用される評価者端末２００である。また、以下では、評価者端末２００－１～２００－Ｎについて、特に区別なく説明する場合には、評価者端末２００と記載する。また、以下の説明では、評価者端末２００を評価者と同一視する場合がある。すなわち、以下では、評価者を評価者端末２００と読み替えることもできる。 In the following description, the evaluator terminals 200 are referred to as evaluator terminals 200-1 to 200-N (N is any natural number) depending on the evaluator using the evaluator terminal 200. For example, the evaluator terminal 200-1 is the evaluator terminal 200 used by the evaluator (evaluator A1) identified by the evaluator ID "AID#1". In the following description, the evaluator terminals 200-1 to 200-N are referred to as evaluator terminals 200 when there is no particular distinction between them. In the following description, the evaluator terminal 200 may be regarded as the same as the evaluator. That is, in the following description, the evaluator may be read as the evaluator terminal 200.
まず、情報処理装置１０は、複数の被服の組み合わせ（コーディネート）を着用した着用者の画像に対する評価者の評価を、評価者端末２００から受け付ける（ステップＳａ１）。例えば、情報処理装置１０は、着用者のコーディネートが、着用者に似合っているか否かを示す評価を受け付ける。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１及びＰ２の組を評価者に提示し、２つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付ける。
First, the
より具体的な例を挙げると、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価、並びに、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価（すなわち、画像Ｐ１に対する「似合う」という評価と、画像Ｐ２に対する「似合わない」という評価）を、評価者Ａ１から受け付ける。なお、どちらの例においても似合っている場合に、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているという評価と、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいし、反対にどちらの例においても似合わなかった場合に、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価と、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合わないという評価とを比較したうえで、どちらの評価が相対的に高いか・低いかを判断してもよいものとする。以降の例では相対的に似合うと判断された場合を含めて単に似合うと表記し、同様に相対的に似合わないと判断された場合を含めて単に似合わないと表記する。また、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合わないという評価、並びに、画像Ｐ２が示すコーディネート＃２が、画像Ｐ２が示す着用者＃２に似合っているという評価（すなわち、画像Ｐ１に対する「似合わない」という評価と、画像Ｐ２に対する「似合う」という評価）を、評価者Ａ２から受け付ける。同様に、情報処理装置１０は、他の評価者からも、画像Ｐ１及びＰ２の組に関する評価を受け付ける。また、情報処理装置１０は、画像Ｐ３及びＰ４の組、画像Ｐ５及びＰ６の組、画像Ｐ１及びＰ３の組、画像Ｐ２及びＰ４の組、・・・といった他の組に関する評価を評価者から受け付ける。
To give a more specific example, the
続いて、情報処理装置１０は、画像に対する評価者の評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する（ステップＳａ２）。例えば、情報処理装置１０は、ＶＳＥ（Visual-Semantic Embedding）の技術を用いて、分散表現空間を生成する。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ１を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ１を生成する。
Then, the
なお、情報処理装置１０は、画像に関する各種の情報や、評価者に関する各種の情報を示す評価者情報を投影した分散表現空間を生成してもよい。ここで、図３を用いて、情報処理装置１０が生成する分散表現空間の例について説明する。図３は、実施形態に係る分散表現空間の一例を示す図である。
The
例えば、画像が示すコーディネートに含まれる被服（アイテム）は、評価者が似合うと感じるか否かに寄与していることが推定される。したがって、情報処理装置１０は、画像が示すコーディネートに含まれる被服の画像をさらに投影した分散表現空間Ｆ２を生成する。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服Ｉ１の画像を投影した分散表現空間Ｆ２を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服Ｉ２の画像を投影した分散表現空間Ｆ２を生成する。
For example, it is estimated that the clothes (items) included in the outfit shown in the image contribute to whether the evaluator feels that the outfit suits the user. Therefore, the
また、例えば、情報処理装置１０は、画像が示すコーディネートに紐付けられた情報をさらに投影した分散表現空間Ｆ３を生成する。具体的な例を挙げると、情報処理装置１０は、コーディネートの用途や、着用するシチュエーションなどを示すカテゴリをさらに投影した分散表現空間Ｆ３を生成する。より具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートのカテゴリＴ１（カジュアル）を投影した分散表現空間Ｆ３を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２のカテゴリＴ２（デート）を投影した分散表現空間Ｆ３を生成する。なお、情報処理装置１０は、画像が示すコーディネートに含まれる被服の画像をさらに投影した散表現空間を生成する場合、当該被服に紐付けられた情報をさらに投影した分散表現空間を生成してもよい。
For example, the
また、例えば、情報処理装置１０は、評価者の属性情報を示す評価者情報を投影した分散表現空間Ｆ４を生成する。ここで、評価者Ａ１の属性情報が「２０代後半、東京在住」であり、評価者Ａ２の属性情報が「２０代前半、大阪在住」であるものとする。このような場合、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の属性情報よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の属性情報（例えば、属性情報Ｂ１（２０代後半、東京在住）、属性情報Ｂ２（２０代後半）及び属性情報Ｂ３（東京在住））の近くに、画像Ｐ１を投影した分散表現空間Ｆ４を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の属性情報よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の属性情報（例えば、属性情報Ｂ４（２０代前半、大阪在住）、属性情報Ｂ５（大阪在住）及び属性情報Ｂ６（２０代前半））の近くに、画像Ｐ２を投影した分散表現空間Ｆ４を生成する。
Also, for example, the
また、例えば、情報処理装置１０は、「ファッションに自信がある？」や、「好きな街は？」といったアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間Ｆ５を生成する。ここで、上記のアンケートに対し、評価者Ａ１が「ファッションに自信がない」、「渋谷が好き」と回答し、評価者Ａ２が「ファッションに自信がある」、「原宿が好き」と回答したものとする。このような場合、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の回答よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の回答（例えば、回答Ｃ１（ファッションに自信がない、渋谷が好き）、回答Ｃ２（ファッションに自信がない）及び回答Ｃ３（渋谷が好き））の近くに、画像Ｐ１を投影した分散表現空間Ｆ５を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の回答よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の回答（例えば、回答Ｃ４（ファッションに自信がある、原宿が好き）、回答Ｃ５（ファッションに自信がある）及び回答Ｃ６（原宿が好き））の近くに、画像Ｐ２を投影した分散表現空間Ｆ５を生成する。
For example, the
なお、情報処理装置１０が生成する分散表現空間は、上記の例に限定されない。例えば、情報処理装置１０は、画像、コーディネートに含まれる被服の画像、コーディネートのカテゴリ、評価者の属性情報、並びに、アンケートに対する評価者の回答を投影した分散表現空間を生成してもよい。
The distributed representation space generated by the
また、情報処理装置１０が生成する分散表現空間に含まれる情報は、上記のような例に限定されず、任意の情報が投影されてもよい。例えば、情報処理装置１０は、被服の提供元（例えば、ブランドや、被服を販売するショップなど）を示す情報を投影した分散表現空間を生成してもよい。具体的な例を挙げると、情報処理装置１０は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、情報処理装置１０は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、例えば、情報処理装置１０は、着用者の身体的な情報（例えば、骨格や体格に関する特徴量）を投影した分散表現空間を生成してもよく、身体的な特徴量を抽出する際に非特許文献１（ＶｉＢＥ： Ｄｒｅｓｓｉｎｇ ｆｏｒ Ｄｉｖｅｒｓｅ Ｂｏｄｙ Ｓｈａｐｅｓ．Ｗｅｉ－Ｌｉｎ Ｈｓｉａｏ，Ｋｒｉｓｔｅｎ Ｇｒａｕｍａｎ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０２０， ｐｐ． １１０５９－１１０６９．）の方法を用いてもよい。
In addition, the information included in the distributed representation space generated by the
また、例えば、情報処理装置１０は、評価者の各種の属性情報（例えば、職業や、身長、体重、居住地、パーソナルカラー、収入、家賃）、評価者のアンケートの項目（例えば、お気に入りの提供元や、ファッションにかける金額、ファッションの参考に見ている媒体（よく読む雑誌、よく利用するＷＥＢサービス等）、夢中になっていること（趣味等）、将来の夢、ファッションの参考にしている人（芸能人、インフルエンサー等）、なりたいイメージ、取り入れたいアイテム、好きな（憧れな）人のＳＮＳに関する情報、体型の悩み、ファッションの悩みなど）に対する回答、画像が示すコーディネートに紐付けられた情報（例えば、アイテムタイプ、提供元、利用シーン、色、季節、着用の目的、売り文句、素材、サイズ、価格帯など）を示す情報などを投影した分散表現空間を生成してもよい。
In addition, for example, the
図２に戻り説明を続ける。続いて、情報処理装置１０は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、生成した分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネート（言い換えると、利用者が高く評価すると推定されるコーディネートや、利用者も似合うと評価すると推定されるコーディネート）を推定する（ステップＳａ３）。ここで、利用者Ｕ１の属性情報が、「２０代後半」であるものとする。このような場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定する。
Returning to FIG. 2 for further explanation, the
なお、情報処理装置１０は、分散表現空間に投影された情報と、利用者Ｕ１に関する情報とに基づいて、利用者Ｕ１に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、利用者Ｕ１の属性情報が、「２０代後半、大阪在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者Ｕ１に関する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定してもよい。
In addition, the
ここで、図２の例において、情報処理装置１０が、画像Ｐ１が示すコーディネート＃１、画像Ｐ３が示すコーディネート＃３、並びに、画像Ｐ４が示すコーディネート＃４を、利用者Ｕ１に似合うコーディネートであると推定したものとする。このような場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４に関する情報を利用者端末１００に提供する（ステップＳａ４）。例えば、情報処理装置１０は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定し、優先度を高くして提供する。具体的な例を挙げると、情報処理装置１０は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、情報処理装置１０は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、コーディネートサービスにおいて提供する。このとき、情報処理装置１０は、優先度が高い情報ほど、目立つ位置や、ランキングの上位として表示されるように提供してもよい。
2, it is assumed that the
なお、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、利用者Ｕ１に関する情報（属性情報、身体的な情報（身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等）等）や、コーディネートに関連する情報（例えば、現在の季節や、現在の流行）などに対応するコーディネートの情報を提供してもよい。例えば、利用者Ｕ１が男性である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、男性向けのコーディネートの情報を提供する。例えば、利用者Ｕ１が男性である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、着用者が男性であるコーディネートや、コーディネートに含まれる被服が男性向けであるコーディネートの情報を提供してもよい。例えば、現在の季節が秋である場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、秋や冬向けのコーディネートの情報を提供する。
The
また、情報処理装置１０は、利用者Ｕ１が指定した条件に応じたコーディネートの情報を提供してもよい。例えば、利用者Ｕ１がカテゴリ「カジュアル」を条件として指定した場合、情報処理装置１０は、コーディネート＃１、＃３及び＃４のうち、分散表現空間（例えば、分散表現空間Ｆ３）においてカテゴリＴ１からより近い位置に投影された画像が示すコーディネートの優先度を高くして提供する。
In addition, the
また、情報処理装置１０は、利用者Ｕ１の被服に関する嗜好を学習したモデルを用いて、コーディネートの情報を提供してもよい。例えば、情報処理装置１０は、被服に関する情報（例えば、画像）を入力した場合に、利用者Ｕ１がその被服を嗜好する度合いが高いほど高いスコアを出力するようモデルを学習しておく。そして、情報処理装置１０は、そのモデルにコーディネート＃１、＃３及び＃４に関する情報を入力し、出力されたスコアが高い順にコーディネート＃１、＃３及び＃４の情報を利用者Ｕ１に提供する。
In addition, the
続いて、情報処理装置１０は、提供した情報に対して利用者Ｕ１が肯定的であったか否かを示すフィードバックを利用者端末１００から取得する（ステップＳａ５）。例えば、情報処理装置１０は、電子商取引サービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得する。また、情報処理装置１０は、コーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に対するお気に入り登録を行ったか否かを示す情報（フィードバック）か否かを示す情報を取得する。なお、提供した情報に対して利用者Ｕ１が肯定的であったか否かを示す情報は、電子商取引サービスやコーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４を閲覧したか否かや、電子商取引サービスやコーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を閲覧したか否かなどでもよく、上記の例に限定されない。
Next, the
続いて、情報処理装置１０は、利用者Ｕ１からのフィードバックに基づいて、分散表現空間を更新する（ステップＳａ６）。例えば、利用者Ｕ１がコーディネート＃１に対して肯定的である場合（例えば、電子商取引サービスにおいてコーディネート＃１に含まれる被服を購入した場合や、コーディネートサービスにおいてコーディネート＃１に対するお気に入り登録を行った場合）、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。一方、利用者Ｕ１がコーディネート＃３に対して否定的である場合（例えば、電子商取引サービスや、コーディネートサービスにおいて提示したコーディネート＃３の情報を閲覧しなかった場合）、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ３とを所定の距離遠ざけるように更新する。なお、利用者Ｕ１からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（利用者Ｕ１）を示す評価者情報をさらに分散表現空間に投影してもよい。
Next, the
以上のように、実施形態に係る情報処理装置１０は、コーディネートを示す画像に対する似合うか否かの評価と、画像に対する評価を行った評価者を示す評価者情報とを投影した分散表現空間を生成する。
As described above, the
ここで、従来、コーディネートが着用者に「似合う」か否かは人それぞれの主観によって大きく異なり、定量化が困難であった。そこで、実施形態に係る情報処理装置１０によれば、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。
Here, in the past, whether or not an outfit "looks good" on a wearer varied greatly depending on each person's subjective opinion, making it difficult to quantify. Therefore, with the
また、実施形態に係る情報処理装置１０は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供する。これにより、実施形態に係る情報処理装置１０は、所定の対象（利用者自身等）に似合う被服を利用者が把握することができるという効果を奏する。
In addition, the
〔２－２．第２の情報処理について〕
次に、図４を用いて、本実施形態に係る情報処理装置等により実現される第２の情報処理について説明する。図４は、実施形態に係る情報処理の一例を示す図（２）である。
[2-2. Regarding the second information processing]
Next, a second information processing executed by the information processing device according to the embodiment will be described with reference to Fig. 4. Fig. 4 is a diagram (2) showing an example of the information processing according to the embodiment.
まず、情報処理装置１０は、複数の被服の組み合わせ（コーディネート）を着用した着用者の画像に対する評価を、評価者端末２００から受け付ける（ステップＳｂ１）。例えば、情報処理装置１０は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているっているか否かを示す評価を受け付ける。
First, the
続いて、情報処理装置１０は、画像に対する評価者の評価に基づいて、評価者や画像などの分散表現を生成するための畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））を生成する（ステップＳｂ２）。例えば、情報処理装置１０は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。具体的な例を挙げると、情報処理装置１０は、ある画像を入力した際に、その画像に対して「似合う」と評価した評価者の分散表現と類似する分散表現を出力し、その画像に対して「似合わない」と評価した評価者の分散表現と類似しない分散表現を出力するように、CNNの接続係数を修正する。
Next, the
ここで、情報処理装置１０が、各評価者による評価に基づいて、ＣＮＮの学習を繰り返し行った場合、ＣＮＮは、各評価者がどの範囲に基づいて、似合うもしくは似合わないの評価を行ったかを推定し、推定結果に応じた各評価者および画像の分散表現を生成するようになる。例えば、ＣＮＮは、画像から分散表現を生成する場合、画像を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル（以下、「領域ベクトル」と記載する場合がある。）を生成する。そして、ＣＮＮは、複数の領域ベクトルを統合することで、画像全体の特徴を示す分散表現を生成する。なお、ＣＮＮは、様々な大きさの領域や特徴について、同様の処理を繰り返し実行し、最終的な分散表現を生成する。また、画像全体を一つの領域とみなしてもよい。また、複数の領域ではなく、単一の領域に基づいて分散表現を生成してもよい。すなわち、必要であれば、画像上の部分的な領域に基づいて分散表現を生成するのではなく、画像全体を考慮した単一の特徴ベクトルを算出してもよい。また、領域の定義は使用するアプリケーションに基づいて任意に定めてもよい。例えば、Ｆｕｌｌｙ ＣＮＮを用いて特徴抽出することで得られる特徴ベクトルは、各次元が一つの画像上の領域に対応するものとして考えられるが、当該領域に対応する画像空間上のコンテンツに基づいてその領域ベクトルを使用するか否かを決めてもよい。具体的には、人体検出器などによって画像上の人物が存在する複数の領域を特定し、これらの領域ベクトルのＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇを算出することによって領域ベクトルの統合を行ってもよい。また、その他の例としても、画像上の意味的領域分割を行うことによって領域を特定してもよい。具体的には、例えば、画像上に撮像された人物が存在する画素において、どの部分がトップスまたはボトムスを含むかを特定することで、複数の意味的領域を得ることができる。これらの領域に対応する領域ベクトルを算出し、複数の領域ベクトルを固有の順番で結合（Ｃｏｎｃａｔｅｎａｔｅ処理）することで、対象の被写体の姿勢変動に比較的頑強な画像全体の特徴を示す分散表現を算出してもよい。この際、存在しない意味的領域がある場合（例えば被写体の足が撮像されていない場合にシューズの領域が存在しないなど）、当該の領域ベクトルを任意の特徴ベクトルで代用してもよく、例えば学習データ全体におけるシューズの領域ベクトルの平均ベクトルを用いてもよいし、０で埋めた特徴ベクトルを用いても良い。
Here, when the
このようなＣＮＮの学習を行う場合、情報処理装置１０は、各評価者の位置を固定し、各画像について、似合うと評価した評価者の分散表現（例えば、属性情報等を示す評価者情報に基づく分散表現）と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように、ＣＮＮの学習を行う。このような学習を行った場合、ＣＮＮは、似合うと評価した評価者の評価者情報の分散表現と比較的類似する領域ベクトルを生成し、似合わないと評価した評価者の評価者情報の分散表現と比較的類似しない領域ベクトルを生成するように、接続係数等の調整が行われることとなる。このような学習処理を繰り返し行った場合、ＣＮＮは、ある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトルを生成するようになる。
When such CNN training is performed, the
そこで、情報処理装置１０は、このような学習済みのＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示す情報、例えば、ヒートマップ等を提供する。
Therefore, the
例えば、情報処理装置１０は、電子商取引サービスや、コーディネートサービスにおいて、コーディネートを示す画像を利用者Ｕ１に提供する際、生成したＣＮＮと、利用者Ｕ１に関する情報とに基づき、当該画像の各領域が示す被服のそれぞれが利用者Ｕ１に似合う度合いを判定する（ステップＳｂ３）。ここで、図４の例において、画像Ｐ１を利用者Ｕ１に提供するものとする。このような場合、情報処理装置１０は、分散表現が、利用者Ｕ１の分散表現（例えば、属性情報等に基づく分散表現）と類似する評価者を特定する。そして、情報処理装置１０は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者Ｕ１に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者Ｕ１に似合う度合いが低いと判定する。
For example, when the
なお、情報処理装置１０が上述の処理に用いるために生成するものは、ＣＮＮに限定されず、分散表現（埋め込み表現）を獲得可能であれば任意のものが生成されてよい。
Note that what the
続いて、情報処理装置１０は、画像Ｐ１をステップＳｂ３において判定した度合いに応じた態様で利用者端末１００に出力する（ステップＳｂ４）。例えば、情報処理装置１０は、画像Ｐ１の各領域が示す被服が利用者Ｕ１に似合う度合いをヒートマップで示す画像を出力する。具体的な例を挙げると、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似し、画像Ｐ１のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像Ｐ１－１を出力する。また、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のトップスを示す領域の領域ベクトルが類似し、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像Ｐ１－２を出力する。
Then, the
なお、情報処理装置１０は、画像を出力する際に、各領域の被服が利用者Ｕ１に似合う度合いに応じた情報とともに画像を出力してもよい。例えば、画像Ｐ１－１を出力する場合、情報処理装置１０は、赤色で表示した領域に含まれる被服の購入を提案する情報や、青色で表示した領域に含まれる被服の着用を避けることを提案する旨の情報、赤色で表示した領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像Ｐ１－１を出力する。
When outputting an image, the
以上のように、実施形態に係る情報処理装置１０は、コーディネートのうち、評価者が似合うと評価した被服や、似合わないと評価した被服を示す領域を可視化することができるため、複数の被服の組み合わせのうち、いずれの被服が着用者に似合っているかを把握することができる。また、実施形態に係る情報処理装置１０は、利用者が、自身と類似する属性を有する評価者が、コーディネートのうちいずれの被服を似合うと評価するかを把握することができるため、着用する被服の指針を利用者が得ることができる。
As described above, the
〔３．その他の処理例〕
なお、上述した処理は一例に過ぎず、情報処理装置１０は、様々な情報を用いて様々な処理を行ってもよい。この点について、以下例示を列挙する。
[3. Other processing examples]
The above-described process is merely an example, and the
〔３－１．利用者に関する情報に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１が選択したカテゴリとに基づいて、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、利用者端末１００からのコーディネートの提供要求とともに、利用者Ｕ１がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間Ｆ３において、カテゴリＴ１から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
[3-1. Predicting outfits based on user information]
In the example of Fig. 2, the
また、情報処理装置１０は、分散表現空間と、アンケートに対する利用者Ｕ１の回答とに基づいて、利用者Ｕ１に似合うコーディネートを推定してもよい。例えば、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
なお、情報処理装置１０は、利用者Ｕ１に関する情報に基づいて、コーディネートの提案を行ってもよい。例えば、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ２及び５間の所定の位置（例えば、中間の位置）から所定の範囲内に投影された画像が示すコーディネートを、「ファッションに自信を持つために挑戦してみませんか？」といったコメントと共に提案する。すなわち、情報処理装置１０は、利用者Ｕ１の将来に関する情報に基づいて、コーディネートの提案を行ってもよい。
The
〔３－２．対象者に関する情報に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１が会う相手）に関する情報とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間と、対象者の属性とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
[3-2. Estimating outfit coordination based on information about the subject]
In the example of FIG. 2, the
また、例えば、情報処理装置１０は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
For example, the
また、情報処理装置１０は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「２０代前半、東京在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ３及びＢ６の中間の位置が、分散表現空間Ｆ４において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置１０は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
これにより、例えば、対象者が利用者に似合うと評価するコーディネートを推定することができるため、これから会う人の好印象を持ってもらうために何を着ればいいかを利用者が把握することができる。 This allows, for example, the system to estimate what outfits the subject will evaluate as suiting the user, allowing the user to know what to wear to make a good impression on people they will meet.
なお、対象者が利用者Ｕ１に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置１０は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置１０は、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。そして、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的である場合、情報処理装置１０、分散表現空間において、対象者に対応する情報（例えば、属性情報や、アンケートに対する回答など）と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が否定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（対象者）を示す評価者情報をさらに分散表現空間に投影してもよい。
In addition, when the subject provides information on a coordination that the user U1 evaluates as suiting the user U1, the
また、情報処理装置１０は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、情報処理装置１０は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、情報処理装置１０は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が自身に似合うと評価し、かつ、対象者が利用者に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「２０代後半」であり、対象者の属性情報が「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置１０は、推定したコーディネートのうち、利用者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
〔３－３．対象者に似合うコーディネートの推定について〕
図２の例において、情報処理装置１０は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１がプレゼントを贈る相手）に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間と、対象者の属性とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、対象者の属性情報が、「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報（属性情報、身体的な情報（身長、体重、体型、骨格、髪型、髪の色、肌の色、瞳の色等）等）や、コーディネートに関連する情報などに対応するコーディネート（例えば、対象者が女性である場合には、女性向けのコーディネート）に関する情報を利用者端末１００に提供する。
[3-3. Estimating the best outfit for the subject]
In the example of FIG. 2, the
また、例えば、情報処理装置１０は、分散表現空間と、アンケートに対する対象者の回答とに基づいて、対象者が自身に似合うと評価するコーディネートを推定してもよい。具体的な例を挙げると、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、情報処理装置１０は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
For example, the
また、情報処理装置１０は、分散表現空間に投影された情報と、対象者に関する情報とに基づいて、対象者に関する情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、対象者の属性情報が、「２０代前半、東京在住」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ３及びＢ６の中間の位置が、分散表現空間Ｆ４において対象者に関する情報を投影した場合の位置であると推定する。そして、情報処理装置１０は、推定した位置から所定の範囲内に投影された画像が示すコーディネートを、対象者が自身に似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
なお、対象者が自身に似合うと評価するコーディネートに関する情報を提供した場合、情報処理装置１０は、当該コーディネートに対する対象者からのフィードバックを取得してもよい。例えば、情報処理装置１０は、提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。そして、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が肯定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が否定的である場合、情報処理装置１０は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。なお、対象者からのフィードバックは、コーディネートを示す画像に対する似合うか否かの評価とも捉えられるので、画像に対する評価（フィードバック）を行った評価者（対象者）を示す評価者情報をさらに分散表現空間に投影してもよい。
In addition, when the subject provides information on a coordination that the subject evaluates as suiting the subject, the
また、情報処理装置１０は、分散表現空間と、利用者に関する情報と、利用者と所定の関係性を有する対象者に関する情報とに基づいて、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間において、利用者に関する情報から所定の範囲に投影され、かつ、対象者に関する情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、情報処理装置１０は、分散表現空間において、アンケートに対する利用者の回答を示す情報から所定の範囲に投影され、かつ、アンケートに対する対象者の回答を示す情報から所定の範囲に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、情報処理装置１０は、分散表現空間に投影された情報と、利用者に関する情報と、対象者に関する情報とに基づいて、利用者と対象者の両者に基づく情報を分散表現空間に投影した場合の位置を推定し、推定した位置に基づき、利用者が対象者に似合うと評価し、かつ、対象者が自身に似合うと評価するコーディネートを推定してもよい。例えば、利用者の属性情報が「２０代後半」であり、対象者の属性情報が「２０代前半」である場合、情報処理装置１０は、分散表現空間Ｆ４において、属性情報Ｂ２及びＢ５の中間の位置が、分散表現空間Ｆ４において利用者と対象者の両者に対応する情報を投影した場合の位置であると推定し、当該位置から所定の範囲内に投影された画像が示すコーディネートを、利用者と対象者の両者が似合うと評価するコーディネートであると推定する。そして、情報処理装置１０は、推定したコーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
〔３－４．着用者及び利用者の画像に基づくコーディネートの推定について〕
図２の例において、情報処理装置１０は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象（利用者、対象者など）の顔の画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、顔の特徴量が、利用者Ｕ１の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
3-4. Estimating outfit coordination based on images of the wearer and user
In the example of Fig. 2, the
また、情報処理装置１０は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、当該対象に似合うコーディネートを推定してもよい。例えば、情報処理装置１０は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、体型（例えば、細め、太め）が利用者Ｕ１の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
In addition, the
〔３－５．対象者に関する情報に基づく態様での画像の出力について〕
図４の例において、情報処理装置１０は、ＣＮＮと、利用者Ｕ１と所定の関係性を有する対象者（例えば、利用者Ｕ１が会う相手）に関する情報とに基づく態様で、コーディネートを示す画像を出力してもよい。例えば、画像Ｐ１を利用者Ｕ１に提供する場合、情報処理装置１０は、対象者の分散表現（例えば、属性情報等に基づく分散表現）と類似する評価者を特定する。そして、情報処理装置１０は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像Ｐ１を出力する。
[3-5. Output of images based on information about the subject]
In the example of FIG. 4, the
なお、情報処理装置１０は、画像Ｐ１を出力する際に、各領域の被服を、対象者が利用者Ｕ１に似合うと評価する度合いに応じた情報とともに画像Ｐ１を出力してもよい。例えば、対象者が利用者Ｕ１に似合うと評価する度合いが高い領域が示す被服の購入を提案する情報や、当該度合いが低い領域に含まれる被服の着用を避けることを提案する旨の情報、当該度合いが高い領域に含まれる被服を活かした他のコーディネートに関する情報などとともに、画像Ｐ１－１を出力する。
When outputting image P1,
〔４．情報処理装置の構成〕
次に、図５を用いて、情報処理装置１０の構成について説明する。図５は、実施形態に係る情報処理装置１０の構成例を示す図である。図５に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを有する。
4. Configuration of information processing device
Next, the configuration of the
（通信部２０について）
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、利用者端末１００、評価者端末２００等との間で情報の送受信を行う。
(Regarding communication unit 20)
The communication unit 20 is realized by, for example, a network interface card (NIC) etc. The communication unit 20 is connected to the network N by wire or wirelessly, and transmits and receives information between the
（記憶部３０について）
記憶部３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部３０は、評価者情報データベース３１と、利用者情報データベース３２とを有する。
(Regarding the storage unit 30)
The storage unit 30 is realized by, for example, a semiconductor memory element such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 30 has an
（評価者情報データベース３１について）
評価者情報データベース３１は、評価者に関する各種の情報を記憶する。ここで、図６を用いて、評価者情報データベース３１が記憶する情報の一例を説明する。図６は、実施形態に係る評価者情報データベース３１の一例を示す図である。図６の例において、評価者情報データベース３１は、「評価者ＩＤ」、「属性情報」、「アンケート情報」、「評価情報」といった項目を有する。
(Regarding the evaluator information database 31)
The
「評価者ＩＤ」は、評価者を識別するための識別情報を示す。「属性情報」は、評価者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する評価者の回答を示す。「評価情報」は、評価者による評価に関する情報を示し、「対象ＩＤ」、「画像情報」、「被服情報」、「着用者情報」、「評価」といった項目を有する。 "Evaluator ID" indicates identification information for identifying the evaluator. "Attribute information" indicates attribute information of the evaluator. "Survey information" indicates the evaluator's response to a specified questionnaire. "Evaluation information" indicates information regarding the evaluation by the evaluator, and has items such as "Subject ID," "Image information," "Clothing information," "Wearer information," and "Evaluation."
「対象ＩＤ」は、評価の対象（画像）を識別するための識別情報を示す。「画像情報」は、評価の対象である画像を示す。「被服情報」は、画像が示すコーディネートに含まれる被服に関する情報を示し、例えば、被服を識別するための識別情報等が格納される。「着用者情報」は、画像が示す着用者に関する情報を示し、例えば、着用者を識別するための識別情報や、着用者の属性情報や身体的な情報などといった情報が格納される。「評価」は、画像に対する評価者の評価を示す。 "Subject ID" indicates identification information for identifying the subject (image) of evaluation. "Image information" indicates the image that is the subject of evaluation. "Clothing information" indicates information about the clothes included in the outfit shown in the image, and for example, identification information for identifying the clothes is stored. "Wearer information" indicates information about the wearer shown in the image, and for example, identification information for identifying the wearer, attribute information and physical information of the wearer are stored. "Evaluation" indicates the evaluator's evaluation of the image.
すなわち、図６では、評価者ＩＤ「ＡＩＤ＃１」により識別される評価者の属性情報が「属性情報＃１」、アンケート情報が「アンケート情報＃１」、対象ＩＤ「ＤＩＤ＃１」により識別される評価の対象の画像情報が「画像情報＃１」、被服情報が「被服情報＃１」、着用者情報が「着用者情報＃１」、評価が「評価＃１」である例を示す。
In other words, Figure 6 shows an example in which the attribute information of the evaluator identified by the evaluator ID "
（利用者情報データベース３２について）
利用者情報データベース３２は、利用者に関する各種の情報を記憶する。ここで、図７を用いて、利用者情報データベース３２が記憶する情報の一例を説明する。図７は、実施形態に係る利用者情報データベース３２の一例を示す図である。図７の例において、利用者情報データベース３２は、「利用者ＩＤ」、「属性情報」、「アンケート情報」、「利用者画像」、「フィードバック情報」といった項目を有する。
(Regarding the user information database 32)
The
「利用者ＩＤ」は、利用者を識別するための識別情報を示す。「属性情報」は、利用者の属性情報を示す。「アンケート情報」は、所定のアンケートに対する利用者の回答を示す。「利用者画像」は、利用者の顔や体型を示す画像を示す。「フィードバック情報」は、利用者に提供した情報に対する利用者からのフィードバックに関する情報を示す。 "User ID" indicates identification information for identifying a user. "Attribute information" indicates the user's attribute information. "Survey information" indicates the user's response to a specific survey. "User image" indicates an image showing the user's face and body type. "Feedback information" indicates information regarding feedback from the user regarding information provided to the user.
すなわち、図５では、利用者ＩＤ「ＵＩＤ＃１」により識別される利用者の属性情報が「属性情報＃１１」、アンケート情報が「アンケート情報＃１１」、利用者画像が「利用者画像＃１」、フィードバック情報が「フィードバック情報＃１」である例を示す。
In other words, Figure 5 shows an example in which the attribute information of a user identified by user ID "
（制御部４０について）
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部４０は、図６に示すように、受付部４１と、生成部４２と、推定部４３と、提供部４４と、判定部４５と、出力部４６と、取得部４７と、更新部４８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(Regarding the control unit 40)
The control unit 40 is a controller, and is realized, for example, by a CPU (Central Processing Unit) or an MPU (Micro Processing Unit) executing various programs stored in a storage device inside the
（受付部４１について）
受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。例えば、図２の例において、受付部４１は、画像Ｐ１及びＰ２の組を評価者に提示し、２つの画像を比較して、いずれの画像のコーディネートが着用者に似合っており、いずれの画像のコーディネートが着用者に似合わないかを示す評価を受け付け、評価者情報データベース３１に格納する。
(Regarding the reception unit 41)
The receiving
また、受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付けてもよい。例えば、図４の例において、受付部４１は、画像Ｐ１が示すコーディネート＃１が、画像Ｐ１が示す着用者＃１に似合っているっているか否かを示す評価を受け付ける。
The
（生成部４２について）
生成部４２は、受付部４１により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。例えば、図２の例において、生成部４２は、評価者情報データベース３１を参照し、ＶＳＥの技術を用いて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。
(Regarding the generation unit 42)
The generating unit 42 generates a distributed representation space onto which the image and the evaluator information indicating the evaluator are projected, based on the evaluation received by the receiving
また、生成部４２は、評価者が、組み合わせが着用者に似合っていると高く評価するほど、分散表現空間において画像と、評価者情報とをより近い位置に投影し、評価者が、組み合わせが着用者に似合っていないと低く評価するほど、分散表現空間において画像と、評価者情報とをより遠い位置に投影してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１を投影した分散表現空間Ｆ１を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２を投影した分散表現空間Ｆ１を生成する。 The generation unit 42 may project the image and the evaluator information closer to the distributed representation space as the evaluator evaluates the combination as being suitable for the wearer, and may project the image and the evaluator information farther away in the distributed representation space as the evaluator evaluates the combination as being unsuitable for the wearer. For example, in the example of FIG. 2, the generation unit 42 generates a distributed representation space F1 in which the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generation unit 42 also generates a distributed representation space F1 in which the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服Ｉ１の画像を投影した分散表現空間Ｆ２を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服Ｉ２の画像を投影した分散表現空間Ｆ２を生成する。 The generating unit 42 may also generate a distributed representation space in which information indicating the clothes included in the combination is further projected based on the evaluation. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F2 in which an image of the clothes I1 included in the coordination shown by the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than to the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space F2 in which an image of the clothes I2 included in the coordination shown by the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than to the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価に基づいて、さらに組み合わせが属するカテゴリを示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートのカテゴリＴ１（カジュアル）を投影した分散表現空間Ｆ３を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２のカテゴリＴ２（デート）を投影した分散表現空間Ｆ３を生成する。 The generating unit 42 may also generate a distributed representation space in which information indicating a category to which the combination belongs is further projected based on the evaluation. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F3 in which the category T1 (casual) of the coordination indicated by the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than to the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space F3 in which the category T2 (date) of the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than to the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を提供する提供元を示す情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２を示す評価者情報Ｄ２よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１を示す評価者情報Ｄ１の近くに、画像Ｐ１が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１を示す評価者情報Ｄ１よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２を示す評価者情報Ｄ２の近くに、画像Ｐ２が示すコーディネートに含まれる被服の提供元を示す情報を投影した分散表現空間を生成する。 The generating unit 42 may also generate a distributed representation space in which information indicating the source of the clothes included in the combination is projected based on the evaluation. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space in which information indicating the source of the clothes included in the coordination shown by the image P1 is projected closer to the evaluator information D1 indicating the evaluator A1 who evaluated the image P1 as "suitable" than to the evaluator information D2 indicating the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space in which information indicating the source of the clothes included in the coordination shown by the image P2 is projected closer to the evaluator information D2 indicating the evaluator A2 who evaluated the image P2 as "suitable" than to the evaluator information D1 indicating the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、評価者の属性を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の属性情報よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の属性情報の近くに、画像Ｐ１を投影した分散表現空間Ｆ４を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の属性情報よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の属性情報の近くに、画像Ｐ２を投影した分散表現空間Ｆ４を生成する。 The generating unit 42 may also generate a distributed representation space in which evaluator information indicating the attributes of the evaluators is projected. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F4 in which the image P1 is projected closer to the attribute information of the evaluator A1 who evaluated the image P1 as "suitable" than to the attribute information of the evaluator A2 who evaluated the image P1 as "unsuitable". The generating unit 42 also generates a distributed representation space F4 in which the image P2 is projected closer to the attribute information of the evaluator A2 who evaluated the image P2 as "suitable" than to the attribute information of the evaluator A1 who evaluated the image P2 as "unsuitable".
また、生成部４２は、所定のアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間を生成してもよい。例えば、図２の例において、生成部４２は、画像Ｐ１を「似合わない」と評価した評価者Ａ２の回答よりも、画像Ｐ１を「似合う」と評価した評価者Ａ１の回答の近くに、画像Ｐ１を投影した分散表現空間Ｆ５を生成する。また、生成部４２は、画像Ｐ２を「似合わない」と評価した評価者Ａ１の回答よりも、画像Ｐ２を「似合う」と評価した評価者Ａ２の回答の近くに、画像Ｐ２を投影した分散表現空間Ｆ５を生成する。 The generating unit 42 may also generate a distributed representation space in which evaluator information indicating the evaluator's responses to a predetermined questionnaire is projected. For example, in the example of FIG. 2, the generating unit 42 generates a distributed representation space F5 in which the image P1 is projected closer to the response of the evaluator A1 who evaluated the image P1 as "suitable" than to the response of the evaluator A2 who evaluated the image P1 as "not suitable". The generating unit 42 also generates a distributed representation space F5 in which the image P2 is projected closer to the response of the evaluator A2 who evaluated the image P2 as "suitable" than to the response of the evaluator A1 who evaluated the image P2 as "not suitable".
また、生成部４２は、受付部４１により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成してもよい。例えば、図４の例において、生成部４２は、画像と、画像に対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。
The generating unit 42 may also generate a convolutional neural network based on the evaluations received by the receiving
（推定部４３について）
推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う複数の被服の組み合わせを推定する。例えば、図２の例において、推定部４３は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、利用者情報データベース３２を参照し、生成された分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネートを推定する。
(Regarding the estimation unit 43)
The
また、推定部４３は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、電子商取引サービスや、コーディネートサービスを介した、利用者端末１００からのコーディネートの提供要求に応じて、生成された分散表現空間に基づき、利用者Ｕ１に似合うコーディネートを推定する。
The
また、推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、生成された分散表現空間と、利用者Ｕ１に関する情報とに基づき、利用者Ｕ１に似合うコーディネートを推定する。
The
また、推定部４３は、利用者の属性、利用者が選択した被服のカテゴリ、所定のアンケートに対する利用者の回答のうち少なくともいずれかに基づいて、利用者に似合う組み合わせを推定してもよい。例えば、図２の例において、利用者Ｕ１の属性情報が、「２０代後半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、利用者Ｕ１がカテゴリ「カジュアル」を選択したことを示す情報を受け付けた場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ２から所定の範囲内に投影された画像が示すコーディネートであって、分散表現空間Ｆ３において、カテゴリＴ１から所定の範囲内に投影された画像が示すコーディネートを、カテゴリ「カジュアル」において利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１の属性情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、利用者Ｕ１が「ファッションに自信がない」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ２から所定の範囲内に投影された画像が示すコーディネートを、利用者Ｕ１に似合うコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者に関する情報とに基づいて、対象者が利用者Ｕ１に似合うと評価するコーディネートを推定する。
The
また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者が利用者に似合うと評価する組み合わせを推定してもよい。例えば、図２の例において、対象者の属性情報が、「２０代前半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間と、利用者Ｕ１と所定の関係性を有する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネートを推定する。
The
また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者に似合う組み合わせを推定してもよい。例えば、図２の例において、対象者の属性情報が、「２０代前半」である場合、推定部４３は、分散表現空間Ｆ４において、属性情報Ｂ６から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。また、「ファッションに自信がある？」といったアンケートに対し、対象者が「ファッションに自信がある」と回答した場合、推定部４３は、分散表現空間Ｆ５において、回答Ｃ５から所定の範囲内に投影された画像が示すコーディネートを、対象者が似合うと評価するコーディネートであると推定し、当該コーディネートのうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートに関する情報を利用者端末１００に提供する。
The
また、推定部４３は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象の顔を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、顔の特徴量が、利用者Ｕ１の顔の特徴量と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
The
また、推定部４３は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、所定の対象に似合う組み合わせを推定してもよい。例えば、図２の例において、推定部４３は、分散表現空間Ｆ４と、利用者Ｕ１の属性情報とに基づいて推定したコーディネート＃１、＃３及び＃４のうち、体型が利用者Ｕ１の体型と類似する着用者が着用するコーディネートを、利用者に似合うコーディネートであると推定する。
The
また、推定部４３は、組み合わせが所定の対象に似合う度合いをさらに推定してもよい。例えば、図４の例において、推定部４３は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定する。
The
（提供部４４について）
提供部４４は、推定部４３により推定された組み合わせに関する組み合わせ情報を利用者に提供する。例えば、図２の例において、提供部４４は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部４４は、コーディネート＃１、＃３及び＃４の情報を、コーディネートサービスにおいて提供する。
(Regarding the providing unit 44)
The providing unit 44 provides the user with combination information regarding the combination estimated by the estimating
また、提供部４４は、推定部４３により推定された組み合わせに関する情報を利用者に提供してもよい。例えば、図２の例において、提供部４４は、コーディネート＃１、＃３及び＃４の情報や、コーディネート＃１、＃３及び＃４に含まれる被服に関する情報を、電子商取引サービスにおいて提供する。また、提供部４４は、コーディネート＃１、＃３及び＃４の情報を、コーディネートサービスにおいて提供する。
The providing unit 44 may also provide information on the combinations estimated by the estimating
また、提供部４４は、組み合わせを度合いに応じた態様で提供してもよい。例えば、図２の例において、提供部４４は、分散表現空間Ｆ４において属性情報Ｂ２からより近い画像が示すコーディネートに関する情報ほど、利用者Ｕ１に似合う度合いが高いと推定し、優先度を高くして提供する。 The providing unit 44 may also provide combinations in a manner that corresponds to the degree of suitability. For example, in the example of FIG. 2, the providing unit 44 estimates that the closer the information on the coordination shown by an image in the distributed representation space F4 is to the attribute information B2, the more suitable the information is for the user U1, and provides the information with a higher priority.
ここで、図８及び９を用いて、被服の組み合わせに関する情報を利用者端末１００に提供する際の態様について説明する。まず、図８を用いて、電子商取引サービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図８は、利用者端末１００の画面の一例を示す図（１）である。
Now, using Figures 8 and 9, we will explain how information on clothing combinations is provided to the
図８に示すように、提供部４４は、電子商取引サービスにおいて利用者Ｕ１が入力した検索クエリ「Ｔシャツ」若しくは「カットソー」に対応する検索結果を示す画面ＳＣ１を提供する。例えば、提供部４４は、Ｔシャツ若しくはカットソーが含まれるコーディネートを示す画像を、画像が示すコーディネートが利用者Ｕ１に似合う度合いが高い順に示す画面ＳＣ１（言い換えると、プルダウンを示す領域ＡＲ１において、利用者Ｕ１に似合う順に表示することが指定された画面ＳＣ１）を提供する。また、提供部４４は、領域ＡＲ１のプルダウンに表示される情報（すなわち、検索結果の絞り込みの条件）として、「対象者があなた（利用者Ｕ１）に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。 As shown in FIG. 8, the providing unit 44 provides a screen SC1 showing search results corresponding to the search query "T-shirt" or "cut and sew" entered by the user U1 in the electronic commerce service. For example, the providing unit 44 provides a screen SC1 showing images of outfits including T-shirts or cut and sews in order of how well the outfits shown in the images look on the user U1 (in other words, a screen SC1 in which the order of how well the items look on the user U1 is specified in the area AR1 showing the pull-down menu). The providing unit 44 also displays information such as "the order in which the subject evaluates that the items look good on you (user U1)" or "the order in which the subject evaluates that the items look good on themselves" in a manner that allows the user to specify information to be displayed in the pull-down menu of area AR1 (i.e., the conditions for narrowing down the search results).
例えば、「対象者があなたに似合うと評価する順」が領域ＡＲ１において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順（言い換えると、対象者が利用者Ｕ１に似合うと評価する度合いが高い順）に表示する画面ＳＣ１を提供する。なお、このような場合、情報処理装置１０は、電子商取引サービスにおいて対象者を識別するための情報（言い換えると、対象者に関する情報と紐付けられた対象者ＩＤ）や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ１を提供する。
For example, when "in order of how the subject evaluates that it suits you" is specified in area AR1, the providing unit 44 provides a screen SC1 that displays images projected within a predetermined range from information about the subject in the distributed representation space, showing coordinations corresponding to information about the user U1 and information related to the coordination, in the order of how close the images are to the subject (in other words, in order of how highly the subject evaluates that it suits user U1). In this case, the
また、「対象者が自身に似合うと評価する順」が領域ＡＲ１において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順（言い換えると、対象者が利用者Ｕ１に似合うと評価する度合いが高い順）に表示する画面ＳＣ１を提供する。なお、このような場合、情報処理装置１０は、電子商取引サービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ１を提供する。
Furthermore, when "the order in which the subject evaluates that it suits him/her" is specified in area AR1, the providing unit 44 provides a screen SC1 that displays images showing coordinations corresponding to information about the subject and information related to the coordination, etc., among images projected within a predetermined range from information about the subject in the distributed representation space, in the order in which they are projected closer to the position in the information about the subject (in other words, in order of the degree to which the subject evaluates that it suits user U1). Note that in such a case, the
次に、図９を用いて、コーディネートサービスにおいて被服の組み合わせに関する情報を提供する態様について説明する。図９は、利用者端末１００の画面の一例を示す図（２）である。
Next, a mode of providing information on clothing combinations in a coordinated service will be described with reference to FIG. 9. FIG. 9 is a diagram (2) showing an example of a screen of the
図９に示すように、提供部４４は、コーディネートサービスにおいて利用者Ｕ１が入力した検索クエリに対応する検索結果を示す画面ＳＣ２を提供する。例えば、提供部４４は、利用者Ｕ１が入力した検索クエリに対応するコーディネートを示す画像を、画像が示すコーディネートが利用者Ｕ１に似合う度合いが高い順に示す画面ＳＣ２（言い換えると、プルダウンを示す領域ＡＲ２において、利用者Ｕ１に似合う順に表示することが指定された画面ＳＣ２）を提供する。また、提供部４４は、領域ＡＲ２のプルダウンに表示される情報として、「対象者があなた（利用者Ｕ１）に似合うと評価する順」や、「対象者が自身に似合うと評価する順」などといった情報を指定可能に表示する。 As shown in FIG. 9, the providing unit 44 provides a screen SC2 showing search results corresponding to a search query entered by the user U1 in the coordination service. For example, the providing unit 44 provides a screen SC2 showing images of coordinations corresponding to the search query entered by the user U1 in order of how well the coordinations shown in the images suit the user U1 (in other words, a screen SC2 in which the order of how well the coordinations suit the user U1 is specified in the area AR2 showing the pull-down menu). The providing unit 44 also displays information such as "the order in which the subject evaluates that the coordinations suit you (user U1)" or "the order in which the subject evaluates that the coordinations suit themselves" in a manner that allows the user to specify the information to be displayed in the pull-down menu of the area AR2.
例えば、「対象者があなたに似合うと評価する順」が領域ＡＲ２において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、利用者Ｕ１に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面ＳＣ２を提供する。なお、このような場合、情報処理装置１０は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ２を提供する。
For example, if "in order of how the target person evaluates that it suits you" is specified in area AR2, the providing unit 44 provides a screen SC2 that displays, among images projected within a predetermined range from information about the target person in the distributed representation space, images showing coordination corresponding to information about the user U1 and information related to the coordination, in the order in which they are projected closer to the position from the information about the target person. Note that in such a case, the
また、「対象者が自身に似合うと評価する順」が領域ＡＲ２において指定された場合、提供部４４は、分散表現空間において、対象者に関する情報から所定の範囲内に投影された画像のうち、対象者に関する情報や、コーディネートに関連する情報などに対応するコーディネートを示す画像を、対象者に関する情報からより近い位置に投影された順に表示する画面ＳＣ２を提供する。なお、このような場合、情報処理装置１０は、コーディネートサービスにおいて対象者を識別するための情報や、対象者に関する情報を利用者Ｕ１から受け付けてもよい。そして、提供部４４は、利用者Ｕ１から受け付けられた情報に基づいて、画面ＳＣ２を提供する。
Furthermore, when "the order in which the subject evaluates that it suits the subject" is specified in area AR2, the providing unit 44 provides a screen SC2 that displays, among images projected within a predetermined range from information about the subject in the distributed representation space, images showing coordination corresponding to information about the subject or information related to the coordination, in the order in which they are projected closer to the position from the information about the subject. Note that in such a case, the
なお、図８及び９において、提供部４４は、ＣＮＮが生成した領域ベクトルを用いて、各画像が示すコーディネートのうち、各評価者が似合うと判断した領域（言い換えると、コーディネートのうちポイントとなる被服）を推定し、推定した領域をヒートマップで示す画像を提供してもよい。 In addition, in Figures 8 and 9, the providing unit 44 may use the area vectors generated by the CNN to estimate the areas of the outfits shown in each image that each evaluator judges to look good (in other words, the key clothing in the outfits), and provide an image showing the estimated areas in a heat map.
なお、上記の例においては、特定の検索クエリに基づいて似合うと評価する順で商品などの情報を表示する例を示したが、本発明の範囲はその場合に限られない。例えば、提供部４４は、商品カテゴリに関する検索クエリが存在しない場合であっても、任意の商品カテゴリを含む商品群に対して当該の利用者に対する似合う度合いの評価を行い、推薦結果として利用者に提供しても良い。 In the above example, information on products and the like is displayed in order of suitability based on a specific search query, but the scope of the present invention is not limited to this case. For example, even if there is no search query related to a product category, the providing unit 44 may evaluate the degree to which a group of products including an arbitrary product category suits the user, and provide the result as a recommendation to the user.
また、検索クエリ以外であっても、似合う度合いの評価結果に対して様々なフィルタや他の評価結果を組み合わせて利用者に表示することが可能である。例えば、推薦システムにおいて、利用者に対して推薦するに値するアイテムの候補およびそれらに対する推薦度合いの評価結果をあらかじめ特定しておくとする。そして、これらの推薦候補のアイテムに対して似合う度合いの評価を行い、推薦度合いおよび似合う度合いに応じて順序付けたアイテムを利用者に対して表示することができる。このようにして、似合う度合いを他の要素と複合的に組み合わせた結果を用いて利用者にアイテム（商品）やコーディネートの情報を提供することが可能である。 In addition, even if it is not a search query, it is possible to combine the suitability evaluation results with various filters and other evaluation results and display them to the user. For example, in a recommendation system, candidate items worthy of recommendation to the user and the evaluation results of their recommendation degree are specified in advance. The suitability of these recommended candidate items can then be evaluated, and items ranked according to the recommendation degree and suitability degree can be displayed to the user. In this way, it is possible to provide the user with information on items (products) and outfits using the results of a complex combination of suitability degree with other elements.
（判定部４５について）
判定部４５は、分散表現における複数の領域と、利用者に関する情報とに基づいて、領域に含まれる被服のそれぞれが当該利用者に似合う度合いを判定する。例えば、図４の例において、判定部４５は、分散表現が、利用者Ｕ１の分散表現と類似する評価者を特定する。そして、判定部４５は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、利用者Ｕ１に似合う度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、利用者Ｕ１に似合う度合いが低いと判定する。
(Regarding the determination unit 45)
The determination unit 45 determines the degree to which each of the clothes included in the region suits the user based on the multiple regions in the distributed representation and the information on the user. For example, in the example of Fig. 4, the determination unit 45 identifies an evaluator whose distributed representation is similar to the distributed representation of the user U1. The determination unit 45 then determines that the clothes indicated by the region whose region vector is more similar to the distributed representation of the identified evaluator are more suitable for the user U1, and determines that the clothes indicated by the region whose region vector is less similar to the distributed representation of the evaluator are less suitable for the user U1.
また、判定部４５は、分散表現における複数の領域と、対象者に関する情報とに基づいて、領域に含まれる被服のそれぞれを当該対象者が利用者に似合うと評価する度合いを判定してもよい。例えば、図４の例において、判定部４５は、対象者の分散表現と類似する評価者を特定する。そして、判定部４５は、画像Ｐ１の各領域のうち、領域ベクトルが、特定した評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定する。 The determination unit 45 may also determine the degree to which the subject evaluates each of the clothes included in the region as looking good on the user based on multiple regions in the distributed representation and information about the subject. For example, in the example of FIG. 4, the determination unit 45 identifies an evaluator who is similar to the distributed representation of the subject. Then, the determination unit 45 determines that the subject evaluates the clothes as looking good on the user U1 to a higher degree for an area of the image P1 whose area vector is more similar to the distributed representation of the identified evaluator, and determines that the subject evaluates the clothes as looking good on the user U1 to a lower degree for an area whose area vector is less similar to the distributed representation of the evaluator.
（出力部４６について）
出力部４６は、生成部４２により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する。例えば、図４の例において、出力部４６は、ＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
(Regarding the output unit 46)
The
また、出力部４６は、分散表現における複数の領域と、評価者を示す評価者情報とに基づく態様で画像を出力してもよい。例えば、図４の例において、出力部４６は、各画像について、似合うと評価した評価者の分散表現と類似する分散表現を出力し、似合わないと評価した評価者の評価者情報の分散表現と類似しない分散表現を出力するように学習が行われたＣＮＮが生成する領域ベクトルを用いて、各評価者が似合うと判断した領域を推定し、推定した領域を示すヒートマップを出力する。
The
また、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど強調の度合いを高くし、評価者情報の分散表現と類似しない領域ほど強調の度合いを低くした画像を出力してもよい。例えば、図４の例において、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど赤色の度合いを高くし、評価者情報の分散表現と類似しない領域ほど青色の度合いを高くしたヒートマップを出力する。
The
また、出力部４６は、判定部４５により判定された利用者に似合う度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図４の例において、出力部４６は、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似し、画像Ｐ１のトップスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、ボトムスを示す領域を濃い赤色で表示し、トップスを示す領域を濃い青色で表示する画像Ｐ１－１を出力する。また、出力部４６は、ステップＳｂ３において特定した評価者の分散表現と、画像Ｐ１のトップスを示す領域の領域ベクトルが類似し、画像Ｐ１のボトムスを示す領域の領域ベクトルが類似しない場合、情報処理装置１０は、画像Ｐ１のうち、トップスを示す領域を濃い赤色で表示し、ボトムスを示す領域を濃い青色で表示する画像Ｐ１－２を出力する。
The
また、出力部４６は、判定部４５により判定された対象者が利用者に似合うと評価する度合いに応じた態様で領域を表示する画像を利用者に出力してもよい。例えば、図４の例において、出力部４６は、画像Ｐ１の各領域のうち、領域ベクトルが、対象者の分散表現と類似する評価者の分散表現と類似する度合いが高い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが高いと判定し、当該評価者の分散表現と類似する度合いが低い領域が示す被服ほど、対象者が利用者Ｕ１に似合うと評価する度合いが低いと判定し、判定した度合いに応じた態様で画像Ｐ１を出力する。
The
（取得部４７について）
取得部４７は、提供部４４により提供された組み合わせ情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。例えば、図２の例において、取得部４７は、電子商取引サービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に含まれる被服を購入したか否かや、レンタルの申込みを行ったか否かを示す情報（フィードバック）を取得し、利用者情報データベース３２に格納する。また、取得部４７は、コーディネートサービスにおいて、利用者Ｕ１がコーディネート＃１、＃３及び＃４に対するお気に入り登録を行ったか否かを示す情報（フィードバック）を取得する。また、取得部４７は、提供された情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。また、取得部４７は、提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際に、対象者が肯定的であったか否かを示す情報（フィードバック）を、利用者端末１００や、対象者が利用する端末装置などから取得する。
(Regarding the Acquisition Unit 47)
The acquisition unit 47 acquires feedback from the user or other users having a predetermined relationship with the user with respect to the combination information provided by the provision unit 44. For example, in the example of FIG. 2, the acquisition unit 47 acquires information (feedback) indicating whether the user U1 has purchased clothes included in the
（更新部４８について）
更新部４８は、取得部４７により取得されたフィードバックに基づいて、分散表現空間を更新する。利用者Ｕ１がコーディネート＃１に対して肯定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。一方、利用者Ｕ１がコーディネート＃３に対して否定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ３とを所定の距離遠ざけるように更新する。
(Regarding the update unit 48)
The
また、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が肯定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報（例えば、属性情報や、アンケートに対する回答など）と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、提供した情報が示すコーディネートを着用した利用者Ｕ１に対し、対象者が否定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
In addition, if the target person has a positive opinion of user U1 wearing the outfit indicated by the provided information, the
また、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が肯定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像とを所定の距離近づけるように更新する。一方、利用者Ｕ１に提供した情報が示すコーディネートに含まれる被服を利用者Ｕ１が対象者にプレゼントした際、対象者が否定的である場合、更新部４８は、分散表現空間において、対象者に対応する情報と当該コーディネートを示す画像を所定の距離遠ざけるように更新する。
In addition, when user U1 presents to a target person clothing included in the coordination indicated by the information provided to user U1, if the target person is positive, the
〔５．情報処理のフロー〕
図１０を用いて、実施形態に係る情報処理装置１０の情報処理の手順（１）について説明する。図１０は、実施形態に係る情報処理の手順の一例を示すフローチャート（１）である。
5. Information Processing Flow
The information processing procedure (1) of the
図１０に示すように、情報処理装置１０は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する（ステップＳ１０１）。評価を受け付けていない場合（ステップＳ１０１；Ｎｏ）、情報処理装置１０は、評価を受け付けるまで待機する。
As shown in FIG. 10, the
一方、評価を受け付けた場合（ステップＳ１０１；Ｙｅｓ）、情報処理装置１０は、評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成し（ステップＳ１０２）、処理を終了する。
On the other hand, if an evaluation has been received (step S101; Yes), the
次に、図１１を用いて、実施形態に係る情報処理装置１０の情報処理の手順（２）について説明する。図１１は、実施形態に係る情報処理の手順の一例を示すフローチャート（２）である。
Next, the information processing procedure (2) of the
図１１に示すように、情報処理装置１０は、複数の被服の組み合わせを着用した着用者の画像に対する評価を受け付けたか否かを判定する（ステップＳ２０１）。評価を受け付けていない場合（ステップＳ２０１；Ｎｏ）、情報処理装置１０は、評価を受け付けるまで待機する。
As shown in FIG. 11, the
一方、評価を受け付けた場合（ステップＳ２０１；Ｙｅｓ）、情報処理装置１０は、評価に基づいて、畳み込みニューラルネットワークを生成する（ステップＳ２０２）。続いて、情報処理装置１０は、畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力し（ステップＳ２０３）、処理を終了する。
On the other hand, if an evaluation has been received (step S201; Yes), the
次に、図１２を用いて、実施形態に係る情報処理装置１０の情報処理の手順（３）について説明する。図１２は、実施形態に係る情報処理の手順の一例を示すフローチャート（３）である。
Next, the information processing procedure (3) of the
図１２に示すように、情報処理装置１０は、被服の組み合わせの提供要求を受け付けたか否かを判定する（ステップＳ３０１）。提供要求を受け付けていない場合（ステップＳ３０１；Ｎｏ）、情報処理装置１０は、提供要求を受け付けるまで待機する。
As shown in FIG. 12, the
一方、提供要求を受け付けた場合（ステップＳ３０１；Ｙｅｓ）、情報処理装置１０は、評価者からの評価に基づいて生成される、複数の被服の組み合わせを着用した着用者の画像と、評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定する（ステップ３２０２）。続いて、情報処理装置１０は、推定された組み合わせに関する情報を利用者に提供し（ステップＳ３０３）、処理を終了する。
On the other hand, if a request for provision is received (step S301; Yes), the
〔６．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
6. Modifications
The above-described embodiment is merely an example, and various modifications and applications are possible.
〔６－１．評価者に対する情報の提供について〕
上述の実施形態において、情報処理装置１０は、評価者による画像に対する評価に基づいて、コーディネートに関する情報を提供してもよい。例えば、情報処理装置１０は、評価者が似合うと評価した画像に対応するコーディネートに関する情報を、電子商取引サービスや、コーディネートサービスにおいて提供する。
[6-1. Provision of information to evaluators]
In the above-described embodiment, the
〔６－２．対象者について〕
上述の実施形態において、対象者が、利用者が会う相手や、プレゼントを贈る相手である例を示したが、対象者はこのような例に限定されない。例えば、対象者は、ショップの店員やコーディネーターである利用者が接客する相手であってもよい。このような場合、情報処理装置１０は、分散表現空間と、利用者が接客する対象者に関する情報とに基づいて、対象者が自身に似合うと評価するコーディネート（言い換えると、対象者が気に入るコーディネート）を推定し、推定したコーディネートに関する情報を利用者に出力する。また、情報処理装置１０は、ＣＮＮと、利用者が接客する対象者に関する情報とに基づく態様で、コーディネートを示す画像（例えば、コーディネートのうちいずれの被服を対象者が気に入るかを示す画像）を出力する。
[6-2. About the target people]
In the above embodiment, the target person is a person whom the user meets or a person to whom a gift is given, but the target person is not limited to such examples. For example, the target person may be a person served by the user who is a shop clerk or a coordinator. In such a case, the
なお、情報処理装置１０は、ショップの店員やコーディネーターである利用者と、顧客である対象者とのマッチングを行ってもよい。例えば、情報処理装置１０は、各利用者に関する情報と、各対象者に関する情報とに基づき、各利用者及び各対象者を分散表現空間に投影した場合の位置を推定し、投影した位置から所定の範囲内に所在する利用者及び対象者に関する情報を、利用者及び対象者のそれぞれに提供する。
The
〔６－３．被服のデザインに関する情報の提供について〕
上述の実施形態において、情報処理装置１０は、製造元がデザインした被服のデータに対する評価者の評価を受け付け、当該評価に基づく情報を製造元に提供してもよい。例えば、情報処理装置１０は、製造元がデザインした被服を着用した着用者を示すデータ（例えば、ＣＡＤデータ）と、当該データに対する評価者の評価と、評価者に関する評価者情報とを含む学習用データを用いてＣＮＮを生成する。具体的な例を挙げると、情報処理装置１０は、データが示す被服のある領域について、その領域について似合うと評価した可能性が高い各評価者の分散表現と類似し、似合わないと評価した可能性が高い各評価者の分散表現と類似しない領域ベクトル（データが示す被服を複数の領域に分割し、分割した領域ごとの特徴を示すベクトル）を生成するよう学習したＣＮＮを生成する。そして、情報処理装置１０は、このような学習済みのＣＮＮが生成した領域ベクトルを用いて、各評価者が似合うと判断した領域（言い換えると、襟や裾などといった被服の部位）を推定し、推定した領域を示すヒートマップを出力する。
[6-3. Providing information on clothing designs]
In the above embodiment, the
より具体的な例を挙げると、情報処理装置１０は、ＣＮＮと、所定の利用者（例えば、被服の購買層）に関する情報とに基づき、当該データの各領域が示す被服の部位のそれぞれについて、利用者が似合うと評価する度合いを判定し、判定した度合いをヒートマップで示すデータを製造元に出力する。
To give a more specific example, the
これにより、情報処理装置１０は、デザイン中の被服のどの部位が、利用者に似合うと評価されるかを把握し、どの部位が似合わないと評価されるかを把握することを可能とするため、被服のデザインにおける利便性を向上させることができる。
This allows the
〔６－４．処理態様について〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
6-4. Processing Mode
Among the processes described in the above embodiments, all or part of the processes described as being performed automatically can be performed manually, and conversely, all or part of the processes described as being performed manually can be performed automatically by a known method. In addition, the information including the processing procedures, specific names, various data and parameters shown in the above text and drawings can be changed arbitrarily unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 In addition, each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. In other words, the specific form of distribution and integration of each device is not limited to that shown in the figure, and all or part of them can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Furthermore, the above-mentioned embodiments can be combined as appropriate to the extent that they do not cause any contradictions in the processing content.
〔６－５．評価の対象について〕
上述の実施形態において、情報処理装置１０が、被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成する例を示したが、評価の対象は被服の組み合わせに限定されず、任意のものであってもよい。例えば、情報処理装置１０は、複数の家具の組み合わせを示す画像に対する評価であって、当該組み合わせが似合っているか否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、家具の組み合わせを示す画像や、画像が示す家具に関する情報（例えば、家具タイプ、ブランド、ショップ名、製造地、利用シーン、色、カテゴリ（カジュアル等）、売り文句、素材、サイズ、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が似合うと評価する家具の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが家具の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、家具の組み合わせを示す画像を出力する。
[6-5. About the subject of evaluation]
In the above embodiment, the
また、例えば、情報処理装置１０は、複数の料理の組み合わせ（例えば、献立）を示す画像に対する評価であって、当該組み合わせが適切か否か（例えば、見た目や、味の組み合わせが適切か否か）を示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、料理の組み合わせを示す画像や、画像が示す料理に関する情報（例えば、料理名や、食材、料理のジャンル、旬の季節、味の特徴、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する料理の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが料理の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、料理の組み合わせを示す画像を出力する。
For example, the
また、例えば、情報処理装置１０は、複数の花の組み合わせ（例えば、花束）を示す画像に対する評価であって、当該組み合わせが適切か否かを示す評価を複数の評価者から受け付け、受け付けた評価に基づいて、分散表現空間やＣＮＮを生成してもよい。具体的な例を挙げると、情報処理装置１０は、評価者から受け付けられた評価に基づいて、花の組み合わせを示す画像や、画像が示す花に関する情報（例えば、利用シーン、個々の花の名前、色、季節、目的、カテゴリ（カジュアル等）、売り文句、産地、価格帯など）、評価者に関する情報などを投影した分散表現空間を生成し、利用者が適切と評価する花の組み合わせに関する情報を利用者に提供する。また、情報処理装置１０は、評価者から受け付けられた評価に基づいてＣＮＮを生成し、ＣＮＮが花の組み合わせを示す画像の領域ごとに生成する分散表現に基づく態様で、花の組み合わせを示す画像を出力する。
For example, the
〔６－６．画像について〕
上述の実施形態において、情報処理装置１０が、複数の被服の組み合わせを着用した着用者の画像に対する処理について記載したが、実施形態はこれに限定されるものではなく、１つの被服を着用した着用者の画像に対して同様の処理を行ってもよい。
[6-6. About Images]
In the above-described embodiment, the
〔７．効果〕
上述してきたように、実施形態に係る情報処理装置１０は、受付部４１と、生成部４２と、推定部４３と、提供部４４と、判定部４５と、出力部４６と、取得部４７と、更新部４８とを有する。情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部４１と、受付部４１により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する生成部４２とを有することを特徴とする。また、情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付部４１と、受付部４１により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成する生成部４２と、生成部４２により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する出力部４６とを有することを特徴とする。また、情報処理装置１０は、被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う被服を推定する推定部４３と、推定部４３により推定された被服に関する情報を利用者に提供する提供部４４とを有することを特徴とする。
7. Effects
As described above, the
また、受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。また、受付部４１は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける。生成部４２は、受付部４１により受け付けられた評価に基づいて、画像と、評価者を示す評価者情報とを投影した分散表現空間を生成する。また、生成部４２は、評価者が、組み合わせが着用者に似合っていると高く評価するほど、分散表現空間において画像と、評価者情報とをより近い位置に投影し、評価者が、組み合わせが着用者に似合っていないと低く評価するほど、分散表現空間において画像と、評価者情報とをより遠い位置に投影また、生成部４２は、受付部４１により受け付けられた評価に基づいて、畳み込みニューラルネットワークを生成する。推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、当該利用者に似合う複数の被服の組み合わせを推定する。また、推定部４３は、複数の被服の組み合わせを着用した着用者の画像に対する評価であって、当該組み合わせが当該着用者に似合っているか否かを示す複数の評価者からの評価に基づいて生成される、当該画像と、当該評価者を示す評価者情報とを投影した分散表現空間に基づいて、所定の対象に似合う複数の被服の組み合わせを推定する。また、推定部４３は、組み合わせが所定の対象に似合う度合いをさらに推定する。提供部４４は、推定部４３により推定された組み合わせに関する組み合わせ情報を利用者に提供する。また、提供部４４は、推定部４３により推定された組み合わせに関する情報を利用者に提供する。また、提供部４４は、組み合わせを度合いに応じた態様で提供する。判定部４５は、分散表現における複数の領域と、利用者に関する情報とに基づいて、領域に含まれる被服のそれぞれが当該利用者に似合う度合いを判定する。また、判定部４５は、分散表現における複数の領域と、対象者に関する情報とに基づいて、領域に含まれる被服のそれぞれを当該対象者が利用者に似合うと評価する度合いを判定する。出力部４６は、生成部４２により生成された畳み込みニューラルネットワークが画像の領域ごとに生成する分散表現に基づく態様で画像を出力する。また、出力部４６は、分散表現における複数の領域と、評価者を示す評価者情報とに基づく態様で画像を出力する。また、出力部４６は、分散表現が評価者情報の分散表現と類似する領域ほど強調の度合いを高くし、評価者情報の分散表現と類似しない領域ほど強調の度合いを低くした画像を出力する。また、出力部４６は、判定部４５により判定された利用者に似合う度合いに応じた態様で領域を表示する画像を利用者に出力する。また、出力部４６は、判定部４５により判定された対象者が利用者に似合うと評価する度合いに応じた態様で領域を表示する画像を利用者に出力する。取得部４７は、提供部４４により提供された組み合わせ情報に対する、利用者、若しくは、利用者と所定の関係を有する他の利用者からのフィードバックを取得する。更新部４８は、取得部４７により取得されたフィードバックに基づいて、分散表現空間を更新する。利用者Ｕ１がコーディネート＃１に対して肯定的である場合、更新部４８は、分散表現空間Ｆ４において、属性情報Ｂ２と画像Ｐ１とを所定の距離近づけるように更新する。
The
これにより、実施形態に係る情報処理装置１０は、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。また、実施形態に係る情報処理装置１０は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供することができるため、所定の対象に似合う被服を利用者が把握することができるという効果を奏する。また、実施形態に係る情報処理装置１０は、コーディネートのうち、評価者が似合うと評価した被服や、似合わないと評価した被服を示す領域を可視化することができるため、複数の被服の組み合わせのうち、いずれの被服が着用者に似合っているかを把握することができる。
In this way, the
また、実施形態に係る情報処理装置１０において、例えば、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を示す情報を投影した分散表現空間を生成する。また、生成部４２は、評価に基づいて、さらに組み合わせが属するカテゴリを示す情報を投影した分散表現空間を生成する。また、生成部４２は、評価に基づいて、さらに組み合わせに含まれる被服を提供する提供元を示す情報を投影した分散表現空間を生成する。また、生成部４２は、評価者の属性を示す評価者情報を投影した分散表現空間を生成する。また、生成部４２は、所定のアンケートに対する評価者の回答を示す評価者情報を投影した分散表現空間を生成する。
In the
これにより、実施形態に係る情報処理装置１０は、コーディネートを示す画像と、評価者の個性との近さを測れる空間を構成することにより、「似合う」を定量化することができるため、各評価者の主観から被服が着用者に似合っているかを把握することができる。
In this way, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、分散表現空間と、利用者に関する情報とに基づいて、利用者に似合う組み合わせを推定する。また、推定部４３は、利用者の属性、利用者が選択した被服のカテゴリ、所定のアンケートに対する利用者の回答のうち少なくともいずれかに基づいて、利用者に似合う組み合わせを推定する。
In addition, in the
これにより、実施形態に係る情報処理装置１０は、生成した分散表現空間を用いて、利用者と類似する評価者の評価に基づき、利用者に似合うと推定されるコーディネートに関する情報を提供することができるため、自身に似合う被服を利用者が把握することができるという効果を奏する。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者が利用者に似合うと評価する組み合わせを推定する。また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者が利用者に似合うと評価する組み合わせを推定する。
In addition, in the
これにより、実施形態に係る情報処理装置１０は、利用者に似合うと対象者が評価すると推定されるコーディネートに関する情報を提供することができるため、対象者に気に入られる被服を利用者が把握することができるという効果を奏する。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、分散表現空間と、対象者に関する情報とに基づいて、当該対象者に似合う組み合わせを推定する。また、推定部４３は、対象者の属性、所定のアンケートに対する対象者の回答のうち少なくともいずれかに基づいて、対象者に似合う組み合わせを推定する。
In addition, in the
これにより、実施形態に係る情報処理装置１０は、対象者が自身に似合うと評価すると推定されるコーディネートに関する情報を提供することができるため、対象者に気に入られる被服を利用者が把握することができるという効果を奏する。
As a result, the
また、実施形態に係る情報処理装置１０において、例えば、推定部４３は、着用者の顔を示す画像を投影した分散表現空間と、所定の対象の顔を示す画像とに基づいて、所定の対象に似合う組み合わせを推定する。また、推定部４３は、着用者の体型を示す画像を投影した分散表現空間と、所定の対象の体型を示す画像とに基づいて、所定の対象に似合う組み合わせを推定する。
In addition, in the
これにより、実施形態に係る情報処理装置１０は、所定の対象の顔や体型に応じたコーディネートに関する情報を提供することができるため、所定の対象に似合う被服を利用者が精度よく把握することができるという効果を奏する。
As a result, the
〔８．ハードウェア構成〕
また、上述してきた各実施形態に係る情報処理装置１０は、例えば、図１３に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１０を例に挙げて説明する。図１３は、情報処理装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
8. Hardware Configuration
Moreover, the
ＣＰＵ１１００は、ＲＯＭ１２００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１２００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The CPU 1100 operates based on a program stored in the ROM 1200 or the
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。 The CPU 1100 controls output devices such as a display and a printer, and input devices such as a keyboard and a mouse, via the input/output interface 1600. The CPU 1100 acquires data from the input devices via the input/output interface 1600. The CPU 1100 also outputs data generated via the input/output interface 1600 to the output devices.
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１３００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１３００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１３００上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、ＨＤＤ１４００には、情報処理装置１０の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
For example, when the
〔９．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
[9. Other]
Although some of the embodiments of the present application have been described in detail above with reference to the drawings, these are merely examples, and the present invention can be embodied in other forms that incorporate various modifications and improvements based on the knowledge of those skilled in the art, including the forms described in the Disclosure of the Invention section.
また、上述した情報処理装置１０は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
In addition, the configuration of the
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。 In addition, the word "unit" in the claims can be read as "means" or "circuit." For example, the reception unit can be read as reception means or reception circuit.
１０ 情報処理装置
２０ 通信部
３０ 記憶部
３１ 評価者情報データベース
３２ 利用者情報データベース
４０ 制御部
４１ 受付部
４２ 生成部
４３ 推定部
４４ 提供部
４５ 判定部
４６ 出力部
４７ 取得部
４８ 更新部
１００ 利用者端末
２００ 評価者端末
REFERENCE SIGNS
Claims (10)
前記受付部により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成部と
を有することを特徴とする情報処理装置。 a receiving unit that receives evaluations from a plurality of evaluators on an image of a wearer wearing the clothing, the evaluations indicating whether the clothing suits the wearer; and
a generation unit that generates a distributed representation space into which the image and evaluator information indicating the evaluator are projected based on the evaluation received by the reception unit.
前記評価者が、前記被服が前記着用者に似合っていると高く評価するほど、前記分散表現空間において前記画像と、前記評価者情報とをより近い位置に投影し、前記評価者が、前記被服が前記着用者に似合っていないと低く評価するほど、前記分散表現空間において前記画像と、前記評価者情報とをより遠い位置に投影する
ことを特徴とする請求項１に記載の情報処理装置。 The generation unit is
The information processing device of claim 1, characterized in that the higher the evaluator's rating of the clothing as suiting the wearer, the closer the image and the evaluator information are projected to a position in the distributed representation space, and the lower the evaluator's rating of the clothing as not suiting the wearer, the farther the image and the evaluator information are projected to a position in the distributed representation space.
前記評価に基づいて、さらに前記被服を示す情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項１に記載の情報処理装置。 The generation unit is
The information processing apparatus according to claim 1 , further comprising: generating the distributed representation space in which information indicating the clothing is projected based on the evaluation.
前記評価に基づいて、さらに前記被服が属するカテゴリを示す情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項１に記載の情報処理装置。 The generation unit is
The information processing apparatus according to claim 1 , further comprising: generating the distributed representation space by projecting information indicating a category to which the clothing belongs based on the evaluation.
前記評価に基づいて、さらに前記被服に含まれる被服を提供する提供元を示す情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項１に記載の情報処理装置。 The generation unit is
The information processing apparatus according to claim 1 , further comprising: generating the distributed representation space in which information indicating a source of the clothing included in the clothing is projected based on the evaluation.
前記評価者の属性を示す前記評価者情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項１に記載の情報処理装置。 The generation unit is
The information processing apparatus according to claim 1 , further comprising: generating the distributed representation space by projecting the evaluator information indicating an attribute of the evaluator.
所定のアンケートに対する前記評価者の回答を示す前記評価者情報を投影した前記分散表現空間を生成する
ことを特徴とする請求項１に記載の情報処理装置。 The generation unit is
The information processing apparatus according to claim 1 , further comprising: generating the distributed representation space onto which the evaluator information indicating the evaluator's response to a predetermined questionnaire is projected.
前記推定部により推定された被服に関する情報を前記利用者に提供する提供部と、
前記提供部により提供された情報に対する、前記利用者、若しくは、前記利用者と所定の関係を有する他の利用者からのフィードバックを取得する取得部と、
前記取得部により取得されたフィードバックに基づいて、前記分散表現空間を更新する更新部と
をさらに有することを特徴とする請求項７に記載の情報処理装置。 an estimation unit that estimates clothes that suit a user based on the distributed representation space and information about the user;
a provision unit that provides information about the clothing estimated by the estimation unit to the user;
an acquisition unit that acquires feedback from the user or other users having a predetermined relationship with the user with respect to the information provided by the provision unit;
The information processing apparatus according to claim 7 , further comprising: an updating unit that updates the distributed representation space based on the feedback acquired by the acquiring unit.
被服を着用した着用者の画像に対する評価であって、当該被服が当該着用者に似合っているか否かを示す評価を複数の評価者から受け付ける受付工程と、
前記受付工程により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成工程と
を含むことを特徴とする情報処理方法。 1. A computer-implemented information processing method, comprising:
a receiving step of receiving, from a plurality of evaluators, evaluations of an image of a wearer wearing the clothing, the evaluations indicating whether the clothing suits the wearer;
a generating step of generating a distributed representation space into which the image and evaluator information indicating the evaluator are projected based on the evaluations received in the receiving step.
前記受付手順により受け付けられた評価に基づいて、前記画像と、前記評価者を示す評価者情報とを投影した分散表現空間を生成する生成手順と
をコンピュータに実行させることを特徴とする情報処理プログラム。 a receiving step of receiving evaluations from a plurality of evaluators on an image of a wearer wearing the clothing, the evaluations indicating whether the clothing suits the wearer;
a generation step of generating a distributed representation space into which the image and evaluator information indicating the evaluator are projected based on the evaluations received in the reception step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022159123A JP7391165B1 (en) | 2022-09-30 | 2022-09-30 | Information processing device, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022159123A JP7391165B1 (en) | 2022-09-30 | 2022-09-30 | Information processing device, information processing method, and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7391165B1 JP7391165B1 (en) | 2023-12-04 |
| JP2024052421A true JP2024052421A (en) | 2024-04-11 |
Family
ID=89023142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022159123A Active JP7391165B1 (en) | 2022-09-30 | 2022-09-30 | Information processing device, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7391165B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7715903B1 (en) * | 2024-10-01 | 2025-07-30 | 株式会社Zozo | Information processing device, information processing method, and information processing program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016502713A (en) * | 2012-11-12 | 2016-01-28 | シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインＳｉｎｇａｐｏｒｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙａｎｄ Ｄｅｓｉｇｎ | Clothing matching system and method |
| JP2020181278A (en) * | 2019-04-24 | 2020-11-05 | 株式会社Ｚｏｚｏテクノロジーズ | Fashion recommendation server, fashion recommendation system, fashion recommendation method and fashion recommendation program |
| US20210232633A1 (en) * | 2018-09-25 | 2021-07-29 | A9.Com, Inc. | Indexing and presenting content using latent interests |
| JP2022087689A (en) * | 2020-12-01 | 2022-06-13 | 公紀 岩中 | Coordination evaluation server device, control method of coordination evaluation server device, and programs and recording media used for it. |
-
2022
- 2022-09-30 JP JP2022159123A patent/JP7391165B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016502713A (en) * | 2012-11-12 | 2016-01-28 | シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインＳｉｎｇａｐｏｒｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙａｎｄ Ｄｅｓｉｇｎ | Clothing matching system and method |
| US20210232633A1 (en) * | 2018-09-25 | 2021-07-29 | A9.Com, Inc. | Indexing and presenting content using latent interests |
| JP2020181278A (en) * | 2019-04-24 | 2020-11-05 | 株式会社Ｚｏｚｏテクノロジーズ | Fashion recommendation server, fashion recommendation system, fashion recommendation method and fashion recommendation program |
| JP2022087689A (en) * | 2020-12-01 | 2022-06-13 | 公紀 岩中 | Coordination evaluation server device, control method of coordination evaluation server device, and programs and recording media used for it. |
Non-Patent Citations (4)
| Title |
|---|
| 武井 万恵 他: "他者の意見を反映した洋服コーディネート推薦システム", 第７１回（平成２１年）全国大会講演論文集（４）, JPN6023044539, 10 March 2009 (2009-03-10), pages 503 - 504, ISSN: 0005186845 * |
| 池田 雅隆 他: "ニューラルネットワークを用いた衣服のコーディネート提案方式の検討", 第８４回（２０２２年）全国大会講演論文集（４）, JPN6023044541, 17 February 2022 (2022-02-17), pages 35 - 36, ISSN: 0005186846 * |
| 田村 悠 他: "ファッションＥＣサイトにおけるアンケートを用いたブランド推薦システム", 経営の科学 オペレーションズ・リサーチ, vol. 第６３巻、 第２号, JPN6023044542, 1 February 2018 (2018-02-01), pages 91 - 98, ISSN: 0005186847 * |
| 知見 優一 他: "コーディネート検索におけるユーザ評価の提示によるファッションへの意識変化手法とその評価", 第１３回データ工学と情報マネジメントに関するフォーラム （第１９回日本データベース学会年次大会） ［, JPN6023044537, 1 March 2021 (2021-03-01), pages 1 - 8, ISSN: 0005186844 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7715903B1 (en) * | 2024-10-01 | 2025-07-30 | 株式会社Zozo | Information processing device, information processing method, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7391165B1 (en) | 2023-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180308151A1 (en) | Enhancing revenue of a retailer by making a recommendation to a customer | |
| CN110826528B (en) | Fashion preference analysis | |
| Han et al. | Color trend analysis using machine learning with fashion collection images | |
| US20140032359A1 (en) | System and method for providing intelligent recommendations | |
| Sohn et al. | An exploratory study of fit and size issues with mass customized men's jackets using 3D body scan and virtual try-on technology | |
| KR102506356B1 (en) | Apparatus and method for recommending of fashion coordination | |
| McKinney et al. | Exploring criteria consumers use in evaluating their online formal wear rental experience: A content analysis of online reviews | |
| JP2023095908A (en) | Information processing system, information processing method, and program | |
| JP2018018136A (en) | Electronic commerce system | |
| KR102550214B1 (en) | Artificial intelligence-based styling recommendation system for body parts and situations | |
| US20160267576A1 (en) | System and Method for Controlling and Sharing Online Images of Merchandise | |
| JP7391165B1 (en) | Information processing device, information processing method, and information processing program | |
| US10296926B2 (en) | Secondary market integration within existing data framework | |
| WO2017216773A1 (en) | Systems and methods for improved apparel fit and apparel distribution | |
| JP7459206B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7553662B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7391166B1 (en) | Information processing device, information processing method, and information processing program | |
| Abbas et al. | Kernel Fashion Context Recommender System (KFCR): A Kernel Mapping Fashion Recommender System Algorithm Using Contextual Information | |
| Vaidyanathan | Augmented reality in retail-A case study: technology implications to utilitarian, aesthetic and enjoyment values | |
| KR20230080616A (en) | Method to order smart custom clothing | |
| JP7241842B1 (en) | Information processing device, information processing method, and information processing program | |
| KR102480884B1 (en) | Online dress room platform system | |
| JP7742784B2 (en) | Information providing device, information providing method, and information providing program | |
| JP7625052B1 (en) | Information processing device, information processing method, and information processing program | |
| JP7625053B1 (en) | Information processing device, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7391165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |