1 Introduction
ファッション予測の初期の研究(2017)：Ziad Al-Halah, Rainer Stiefelhagen, and Kristen Grauman. 2017. Fashion for-ward: Forecasting visual style in fashion. InProceedings of the IEEE InternationalConference on Computer Vision. 388–397
課題
・適切なトレンド予測を行うためにはどのようなデータを使用するべきか？
・データをどのように組み合わせるか？
これまでのデータセット：Utkarsh Mall, Kevin Matzen, Bharath Hariharan, Noah Snavely, and Kavita Bala.2019. GeoStyle: Discovering Fashion Trends and Events. InProceedings of theIEEE International Conference on Computer Vision. 411–420.
→新たなデータセットの構築
これまでの研究は統計モデルなどの活用
Kevin Matzen, Kavita Bala, and Noah Snavely. 2017. Streetstyle: Exploring world-wide clothing styles from millions of photos.arXiv preprint arXiv:1706.01869(2017).
RNNなどの時系列モデルの利用の活用→ Knowledge Enhanced Recurrent Networkの提案
内部知識と外部知識の2種類の知識を組み込み + LSTMのEncoder-Decoderモデル
内部知識：パターン類似性に基づくatriplet regularization loss
外部知識：ファッション分類の知識
貢献
・データセットの構築：FIT
・新たなモデルの提案：KERN
。、ｍ，524610．／8754ｖｎ7419+63.5362.0」￥’2 Related work
2.1 Fashion trend analysis
ファッション関連のタスクが最近いっぱいだねー：2015年以降
ファッショントレンドを検出し分析する初期の研究：Shintami C. Hidayati, Kai-Lung Hua, Wen-Huang Cheng, and Shih-Wei Sun. 2014.What Are the Fashion Trends in New York?. InProceedings of the 22nd ACMInternational Conference on Multimedia.
統計的分析によってトレンドを研究: Kevin Matzen, Kavita Bala, and Noah Snavely. 2017. Streetstyle: Exploring world-wide clothing styles from millions of photos.arXiv preprint arXiv:1706.01869(2017)
NMFを用いてのファッションスタイルを発見・予測：Ziad Al-Halah, Rainer Stiefelhagen, and Kristen Grauman. 2017. Fashion for-ward: Forecasting visual style in fashion. InProceedings of the IEEE InternationalConference on Computer Vision. 388–397 → 十分に予測できてない
ファッションスタイルの予測：tkarsh Mall, Kevin Matzen, Bharath Hariharan, Noah Snavely, and Kavita Bala.2019. GeoStyle: Discovering Fashion Trends and Events. InProceedings of theIEEE International Conference on Computer Vision. 411–420
2.,2
株価の時系列予測のために会社の情報を取り入れる：Fuli Feng, Xiangnan He, Xiang Wang, Cheng Luo, Yiqun Liu, and Tat-Seng Chua.2019. Temporal relational ranking for stock prediction.ACM Transactions onInformation Systems (TOIS)37, 2 (2019), 1–30
3 Problem Formulation and dataset
各ファッション要素について各ユーザグループにおける将来の人気度を予測
ファッション要素fとユーザグループg→y_g^{f}が人気度の時系列 (グループ内での全ファッション要素における割合を示す)
Fig2: FITの概要
約680Kの画像
年齢・性別検出ツール
Grigory Antipov, Moez Baccouche, Sid-Ahmed Berrani, and Jean-Luc Dugelay.2017. Effective training of convolutional neural networks for face-based genderand age prediction.Pattern Recognition72 (2017), 15–26
Gabriel Panis, Andreas Lanitis, Nicholas Tsapatsoulis, and Timothy F Cootes.2016. Overview of research on facial ageing using the FG-NET ageing database.Iet Biometrics5, 2 (2016), 37–46
Rasmus Rothe, Radu Timofte, and Luc Van Gool. 2018. Deep expectation of realand apparent age from a single image without facial landmarks.InternationalJournal of Computer Vision126, 2-4 (2018), 144–157
→ 74グループ
ユーザグループ × ファッション要素 × 半年ごとの時系列
4 Approach
4.1 Basic LSTM encoder decoder
c: city a:age, n:male, female → embeddingに変換 (D次元)
→ group embedding: gの獲得
4.1.2 LSTM Encoder Decoder Network
g: group representation (D dim)
f: the fashion element feature
m time step feature (1年における位置)
y: trend value
→ concatenateにより1つのベクトル v_t^{e}
LSTM→ biLSTMに入れて学習
0. 論文
Journal/Conference: ICMR 2020 Title: Knowledge Enhanced Neural Fashion Trend Forecasting Authors: Yunshan Ma, Yujuan Ding, Xun Yang, Lizi Liao, Wai Keung Wong, Tat-Seng Chua URL: https://arxiv.org/abs/2005.03297
1. どんなもの？
ファッションのトレンド予測 (時系列データ) を行うためのデータセット (FIT)を作成 年齢や性別ごとの表現を抽出し外部情報を活用するトレンド予測モデルを提案
2. 先行研究と比べてどこがすごい？
大規模データセットを作成した点
3. 技術や手法のキモはどこ？
ファッション自体を要素ごとに細分化し，地域・年齢を考慮したモデルを提案 モデル図
トレンドのパターンが類似しているものは将来的にも類似するという仮定を損失関数に導入して学習
4. どうやって有効だと検証した？
5. 議論はある？
6.次に読むべき論文は？
メモ
ファッショントレンド予測 FIT: fashion trend dataset：ファッションの要素の時系列記録とユーザ情報 KERNモデル：ファッション要素の複雑なパターンを効果的に捉える / トレンド予測
1 Introduction ファッション予測の初期の研究(2017)：Ziad Al-Halah, Rainer Stiefelhagen, and Kristen Grauman. 2017. Fashion for-ward: Forecasting visual style in fashion. InProceedings of the IEEE InternationalConference on Computer Vision. 388–397 課題 ・適切なトレンド予測を行うためにはどのようなデータを使用するべきか？ ・データをどのように組み合わせるか？ これまでのデータセット：Utkarsh Mall, Kevin Matzen, Bharath Hariharan, Noah Snavely, and Kavita Bala.2019. GeoStyle: Discovering Fashion Trends and Events. InProceedings of theIEEE International Conference on Computer Vision. 411–420. →新たなデータセットの構築
これまでの研究は統計モデルなどの活用 Kevin Matzen, Kavita Bala, and Noah Snavely. 2017. Streetstyle: Exploring world-wide clothing styles from millions of photos.arXiv preprint arXiv:1706.01869(2017). RNNなどの時系列モデルの利用の活用→ Knowledge Enhanced Recurrent Networkの提案 内部知識と外部知識の2種類の知識を組み込み + LSTMのEncoder-Decoderモデル 内部知識：パターン類似性に基づくatriplet regularization loss 外部知識：ファッション分類の知識
貢献 ・データセットの構築：FIT ・新たなモデルの提案：KERN
。、ｍ，524610．／8754ｖｎ7419+63.5362.0」￥’2 Related work 2.1 Fashion trend analysis ファッション関連のタスクが最近いっぱいだねー：2015年以降 ファッショントレンドを検出し分析する初期の研究：Shintami C. Hidayati, Kai-Lung Hua, Wen-Huang Cheng, and Shih-Wei Sun. 2014.What Are the Fashion Trends in New York?. InProceedings of the 22nd ACMInternational Conference on Multimedia. 統計的分析によってトレンドを研究: Kevin Matzen, Kavita Bala, and Noah Snavely. 2017. Streetstyle: Exploring world-wide clothing styles from millions of photos.arXiv preprint arXiv:1706.01869(2017) NMFを用いてのファッションスタイルを発見・予測：Ziad Al-Halah, Rainer Stiefelhagen, and Kristen Grauman. 2017. Fashion for-ward: Forecasting visual style in fashion. InProceedings of the IEEE InternationalConference on Computer Vision. 388–397 → 十分に予測できてない ファッションスタイルの予測：tkarsh Mall, Kevin Matzen, Bharath Hariharan, Noah Snavely, and Kavita Bala.2019. GeoStyle: Discovering Fashion Trends and Events. InProceedings of theIEEE International Conference on Computer Vision. 411–420
2.,2 株価の時系列予測のために会社の情報を取り入れる：Fuli Feng, Xiangnan He, Xiang Wang, Cheng Luo, Yiqun Liu, and Tat-Seng Chua.2019. Temporal relational ranking for stock prediction.ACM Transactions onInformation Systems (TOIS)37, 2 (2019), 1–30
3 Problem Formulation and dataset 各ファッション要素について各ユーザグループにおける将来の人気度を予測 ファッション要素fとユーザグループg→y_g^{f}が人気度の時系列 (グループ内での全ファッション要素における割合を示す) Fig2: FITの概要 約680Kの画像
年齢・性別検出ツール Grigory Antipov, Moez Baccouche, Sid-Ahmed Berrani, and Jean-Luc Dugelay.2017. Effective training of convolutional neural networks for face-based genderand age prediction.Pattern Recognition72 (2017), 15–26 Gabriel Panis, Andreas Lanitis, Nicholas Tsapatsoulis, and Timothy F Cootes.2016. Overview of research on facial ageing using the FG-NET ageing database.Iet Biometrics5, 2 (2016), 37–46 Rasmus Rothe, Radu Timofte, and Luc Van Gool. 2018. Deep expectation of realand apparent age from a single image without facial landmarks.InternationalJournal of Computer Vision126, 2-4 (2018), 144–157 → 74グループ
ユーザグループ × ファッション要素 × 半年ごとの時系列
4 Approach
4.1 Basic LSTM encoder decoder c: city a:age, n:male, female → embeddingに変換 (D次元) → group embedding: gの獲得
4.1.2 LSTM Encoder Decoder Network g: group representation (D dim) f: the fashion element feature m time step feature (1年における位置) y: trend value → concatenateにより1つのベクトル v_t^{e} LSTM→ biLSTMに入れて学習
4.2 Knowledge Incorporatioon 外部知識の利用 4.2.1 Internal knowledge 似ている性質を持つファッションは似た時系列を持つ一方で，似ていないものは反発する similar-opposite relationの活用 → triplet regularization: 3つの系列の関係を記載する
＊Triplet regularizatioinは距離学習に用いられる関数？ https://qiita.com/tancoro/items/35d0925de74f21bfff14
4.2.2 External Knowledge ファッションのhierarchical taxonomy with a tree structure ノード愛間のメッセージパッシングを計算 外部知識を用いてtree structureからnode embeddingの木構造の調整を行う
5 Experiments 5.1 Experimental settings RQ1: パフォーマス向上の程度 RQ2: 各モジュールの効果 RQ3: 特定のファッション要素の観点からトレンド予測においてどのような効果をもたらすか？