kacky24 / papers

my publications and short summaries of papers I have read
3 stars 1 forks source link

Context-Aware Visual Compatibility Prediction #52

Open kacky24 opened 5 years ago

kacky24 commented 5 years ago

short summary

GCNを、ファッションアイテム間のcompatibility予測に適用した論文。 単一のアイテム画像からの特徴量だけではなく、それに適合するアイテムを周辺ノードとしてエッジを貼ってGCNで考慮することで、精度を大きく向上。

スクリーンショット 2019-04-29 12 53 42

Encoderでは、GCNの層を積むことで特徴抽出を行うが、この際、ランダムにエッジをサンプリングすることで、構造の変化や、エッジが少ない、存在しないアイテムに対してもロバストになる。 Decoderでは、以下の式で対象のcompatibilityを計算

スクリーンショット 2019-04-29 13 16 16 スクリーンショット 2019-04-29 13 10 29

結果

FITBとoutfit compatibilityでSOTA。(下図はpolyvoreの例)

スクリーンショット 2019-04-29 13 19 40

contextを変えると結果も変わる

スクリーンショット 2019-04-29 13 22 13

ただ、すでにcompatibilityが他アイテムと計算されている(すでにコーディネートで使われている、購入の共起があるなど)ことを前提としているため、完全に新商品同士とかだとそのままは使えないはず。

author

Guillem Cucurull Element AI gcucurull@elementai.com Perouz Taslakian Element AI perouz@elementai.com David Vazquez Element AI dvazquez@elementai.com

URL

https://arxiv.org/pdf/1902.03646.pdf

year

2019