[2020] KERL: A Knowledge-Guided Reinforcement Learning Model for Sequential Recommendation

[shugo1107]

ざっくり言うと

連続的な系列推薦(sequential recommendation)において，強化学習を用いて推薦を試みる方法が進んでいる．しかし，Knowledge Graphの情報をうまく強化学習に用いることができていなかった．(特に探索において) そこで，Knowledgeから将来の選好する特徴を予測する項を付け加えることにより，強化学習の探索においてもKnowledgeを使うことができ，将来選好する特徴の変化を捉えることも可能となるモデルとなった．

キーワード

• Sequential Recommendation
• Reinforcement Learning
• Knowledge Graph

1. 情報

論文リンク

https://dl.acm.org/doi/pdf/10.1145/3397271.3401134

著者

Pengfei Wang, Yu Fan, Long Xia, Wayne Xin Zhao, Shaozhang Niu, Jimmy Huang

投稿日付

SIGIR ’20

2. 先行研究と比べてどこがすごい？

強化学習の枠組みにKnowledge Graphの情報をうまく組み込み，4つの実タスクにおいて精度の向上を確認した．

3. 技術や手法のキモはどこ？

• Knowledge Graphの情報をもとにTransEという手法でアイテムの系列の特徴をベクトル化した後，induction networkの部分で将来選好する特徴を予測する．系列に基づいたアイテム予測による報酬と，Knowledge Graphによる選好する特徴による報酬を足し合わせる事で全体の報酬を定義し，強化学習を行う．
• Knowledge Graphの情報にノイズが多いことや教師となるデータが少ないことにより，通常のMSEを用いて実際に選ばれたイテムの選好と予測された選好の差を学習する方法ではinductive networkの学習はうまくいかない．そこで，予測された選好の系列に対して，報酬の大小に基づいてnetworkの大小を定義することによってランク学習させる．

4. どうやって有効だと検証した？

Amazonの美容，CD，本とLast FM(音楽)の4つのデータセットに対して，その他のbaseline手法と比べ，Hit-Ratio@10とNDCG@10が上回ることを確認した．