Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations

[zerebom]

https://dl.acm.org/doi/fullHtml/10.1145/3426723

注意☠️ : まだかなり斜め読みなので、解釈が誤っているかもです。後半ほどまとめが雑です 🙏

概要

Sequential Recommendationの包括的なサーベイ論文。50ページ近くある。以下のようなことがまとめてある。

• Sequential Recommendationとは何か
• Sequential Recommendationにはどんな種類があるか
• Sequential Recommendationのモデルの性能に影響を与える主要な要因は何か
• Sequential Recommendationの未解決課題は何か

Introduction

• Recsysのおかげで情報過多の問題を解決できる
• 従来の推薦システムの多くは、コンテンツベースの協調フィルタリングにもとづく
  • ItemとUserの暗黙的な相互作用に基づいてユーザのアイテムに対する嗜好をモデル化する
• ただし、これらの手法は過去の履歴における全ての相互作用を等しく重要であると仮定し、静的な嗜好を学習する
  • 実際には、最新のインタラクションほどユーザの嗜好には影響を与えるはず
  • また、逐次的な依存関係を無視されてしまう
• DLベースのSequential Recommendationなら、異なるセッションにまたがる長期的な嗜好も、あるセッションにおける興味も同時にモデル化できるよ

最近は研究が盛んになってるよ。

OVERVIEW OF SEQUENTIAL RECOMMENDATION

Q. そもそもSequential Recommendationとは何か?

A. Behavior sequence(= trajectory)を入力とし、次のBehaviorを当てるタスクのこと。

言葉の定義

• Behavior
  • あるユーザのあるアイテムに対するあるアクションのこと(ai)
  • それぞれ(ci, oi)とタプルで表せる
• Behavior type(ci)
  • アイテムに対するアクションの種類
  • ex) search, click, add-to-cart, buy, share
• Behavior object(oi)
  • ユーザが選んでインタラクトするもの。アイテムのこと

Q. Behavior sequenceにはどんな種類があるの?

A. 以下の3つに分けられるよ

Experience-based behavior sequence

• 設定: ユーザが単一のアイテムに対して多様なアクションをとる
• ゴール: あるユーザはこのアイテムに対してどんなアクションをとるのか?

Transaction-based behavior sequence

• 設定: ユーザが複数アイテムに対して単一なアクションをとる
• ゴール: あるユーザはあるアイテムに対してアクションXX(eg. buy) をとるのか?
  • (余談)→ H&Mコンペはこれ

Interaction-based behavior sequence

• 設定: ユーザが複数アイテムに対して多様なアクションをとる
• ゴール: あるユーザはあるアイテムに対してどんなアクションをとるのか?

  

Q. Sequential Recommendation Tasksにはどんな種類があるの?

A. 以下の2つがある

• next-item recommendation
  • 単一のbehaviorに対して単一のobjectが含まれる
• next-basket recommendation
  • 単一のbehaviorに対して複数のobjectが含まれる

Sequential Recommendation Tasksは、actionとuserを引数に次のアイテムの選択確率を算出する関数の学習と言い換えられる。

最近どんな研究が盛んなの?

A. 最近はAttentionベース * next-item recommendationが盛んみたい

• オレンジ: RNN
• 黄色: CNN
• 青: Attention
• 黄色: GNN

3 SEQUENTIAL RECOMMENDATION ALGORITHMS

3.2 Transaction-based Sequential Recommendation

(TBD) 既存のTransaction-based Sequential Recommendationの学習に使われているメソッドの紹介

GRU4Recが有名だよ。

4 INFLUENTIAL FACTORS ON DL-BASED MODELS

Q. どんなアーキテクチャがいいの?

A. いろんなGRU4Recを用意して実験した。

• u_id, c_idをそれぞれemb → GRUに入れてからconcat→FF→ Softmaxとするアーキテクチャが強そう

Q. Sequential Recommendationする上で何が学習に効くの?

前提: DL-based modelの学習パイプラインには以下の要素があるので、それぞれ見ていく。

A. 図の通り

(かなり理解が怪しいが) 以下のことがわかる。

• Behavior間の経過時間(Dwell time)を入れると精度が上がる
• Attention機構を使うと少し精度が上がっている
• Userの特徴を入れる(category idとかで)実験はうまくいってなさそう

Q. どんなLoss funcが良いの?

A. タスク・データセットによるが、 BPR-max, Cross Entropyあたりを使うのが良さそう。

Q. BPR-maxって何？

[zerebom]

Loss func の紹介

• L top1-max:
• L BPR-max
• CCE: log softmax
• hinge: 二値分類で