Combining Deep Learning and Topic Modeling for Review Understanding in Context-Aware Recommendation(2018)

[magicpieh28]

about this paper

Author: Mingmin Jin, Xin Luo, Huiling Zhu, Hankz Hankui Zhuo Link: https://aclweb.org/anthology/N18-1145

推薦システムの精度向上のために手法を提案。 手法：LSTMとTopic Modeling (LDA) を統合したモデル

aim

problems

• LDAだけだと、構造的情報を無視し、共起した単語という事実のみを考慮する
• CNN（window sizeが小さい時）だけだと、単語曖昧性問題が生じる
• RNNだけだと、文が長くなるほど情報を得られなくなる

  how to solve

• ディープラーニングとTopic Modelingを統合したモデルを使用する
• Topic Modelingで共起関係の情報を得るあいだ、ディープラーニングで文脈情報を得る
• 二つからのアウトプットはMatrix Factorizationで統合する

model

• ベースライン
  • Hidden Factors as Topics (HFT) (McAuley and Leskovec, 2013)
  • Probabilistic Matrix Factorization (PMF) (Mnih and Salakhutdinov, 2008)
  • Convolutional Matrix Factorization (ConvMF) (Kim et al., 2016)
  • LSTM Matrix Factorization (LMF)
  • CTMF

• u: ユーザー
• v: 商品
• R: 評価点データ
• θ: トピック分布
• l: LSTM(D, W)
• D: レビューデータ
• φ: 単語分布
• W: 重み、バイアス

experiments

• Amazon dataset (McAuley et al. 2015)から10個のサブデータセットを使用

  • 3点以下のレビューは使用しない
  • ConvMFに従い全処理
  • ドキュメント頻度が0.5以上のものを使用
  • アイテムドキュメントの長さが300以下のもの使用
  • 単語数は800単語で制限：これに含まれてないなら削除

• LDA

  • latent vector = 5
  • vectors randomly between 0 and 1
  • l = 5
  • embedding次元: 200
  • 逆伝搬のoptimizationアルゴリズム: rmsprop
  • 活性化関数: tanh

• LSTM

  • output次元: 128
  • dropout: 0.2
  • lambda_u: 0.1
  • lambda_v: 5
  • lambda_t: 0.05, 0.1, 0.5

• CTMF

  • window size: 3, 4, 5
  • shared weights per window size: 100
  • lambda_u: 0.1
  • lambda_v: 5
  • lambda_t: 0.05, 0.1, 0.5

• PMF

  • lambda: 0.1

• HFT

  • lambda: 1, 5

results

next

jointly modeling aspects, ratings and sentiments for movie recommendation. ACM. 2014 A synthetic approach for recommendation: combining ratings, social relations, and reviews. AAAI. 2015