Deep learning for recommender systems: A Netflix case study

https://ojs.aaai.org/index.php/aimagazine/article/view/18140

[WIP ⚠️まだまだ文章雑なので注意]

Abstract

NetflixでNNのRecsysを利用した際に、遭遇した課題と得られた教訓のいくつかを概説。

INTRODUCTION

RECOMMENDATIONS AT NETFLIX

推薦問題を複数のサブタスクに分割し、それぞれの適材適所なモデルを利用する

1: Topの目立つ位置に表示する、最初の動画を選択するアルゴリズム

2: 検索エンジンの一部

3: ユーザに送られるメッセージや通知

4,6: どの行をパーソナライズして提示するかを選択するアルゴリズム

5: 新しい動画を発見するためのアルゴリズム

7: 引き続き視聴したいと思う既視聴の動画をランキングするアルゴリズム

データの種類と特性は、推薦アルゴリズムがうまく機能するか決定的な影響を与える

データがユーザとアイテムの相互作用のみを含むか
ユーザ属性、アイテム属性、ユーザとアイテムの相互作用に関する文脈情報などの追加情報を含むか
実験を通じて、↑異種特徴で強化することで、よりNNモデルが輝くことがわかった

他のデータセットと、推薦システムデータセットの違い

観測・収集されたデータがランダムではなく欠損
- ユーザとアイテムの相互作用行列はランダムに分布していない
  - 圧縮センシング・行列補完のように行列がランダムに欠落することを仮定する分野と異なる
ユーザ・アイテム相互作用行列の観測されていない項目は、真のネガティブか、観測されていないかわからない
観測データが極めて疎
観測されるpositiveデータは確率過程に由来するためノイズが多い
データには人気度スキューが存在し、人気度はほぼ冪乗分布に由来する
- ユーザに関しても同様の冪乗分布に従う
- 分布の不一致によるモデリング上の課題を引き起こす
- 不人気なアイテムやアクティビティの低いユーザに公平な推薦をするのが難しい
前のタイムステップのデータを使った推薦はバイアスが増幅される
- ユーザがシステムによって目立つ表示されたアイテムと対話する可能性が高いため
- フィードバックループを壊すことは実世界のRecsysにおける重要な課題
  - オフラインとオンラインの乖離を小さくすることができる

MODELING APPROACHES

Bag-of-items approaches

時間的順序を無視してsetとして扱う
比較的安定したユーザの長期的な興味をモデル化するのに向いている
行列分解とNNはオートエンコーダーを通してリンクしている

Sequential models

bag-of-itemは便利だが、ユーザのプレイヒストリーの性質が損なわれる

これを対応するためにNLPタスクのモデルを適応する
次の項目を予測する
- セッションベースのECアプリにおいて非常に効果的
- 明確なユーザ識別子がないため
- 唯一の既知な情報が、ユーザがこれまで訪れたアイテムセットだけ
特定のタスクでは明らかにsequentialモデルが便利
トランスフォーマーは厳密にはseqではないが、アテンション機構が同等の効果を持つ
- 精度向上に加えて、説明性を持っている点が役立つ

Adding heterogeneous features

伝統的な推薦タスクでは、文献や経験則を使って調整すれば、浅いモデルでも、最高の予測精度を達成できる
これは画像のようなタスクとは違う
- 画像分類では、低レベルから、高レベルの特徴全てを学習する必要がある
- 従来の推薦設定では、アイテムIDが既にデータとして提供されている
- さまざまな低レベルの特徴量を学習する必要がなくなる
- 2つのカテゴリ特徴のペアワイズ相互作用の学習とみなせる(user,item)
- DNNは二つの埋め込みをどのように層が作用させるかをデータから学習することは可能だが、ベクトルの内積のような基本操作はさまざまな学習させるのではなく、直接掛け合わせる方が遥かに効果的
一歩立ち下がって、NNには何ができて、従来のモデルでは何が困難だったかを考える.
- ユーザの暗黙的・明示的なフィードバック以外の余分な情報を利用することが大切

PRACTICAL CHALLENGES

Mismatch in offline and online settings

相関的な性能が因果的な挙動を表していないことが原因
目的関数と代理メトリックスの乖離
- 推薦システムの定式化は何らかの短期的な代理指標(クリック数・再生回数)の形になる
- 一方最適化したいのは、長期的なユーザの満足度など主観的な測定が困難なもの
- 代理指標と実際の指標との関係は複雑
- MLで短期的な指標に過剰に適合すると、実際の対象指標から大きく外れるかも
- 単純なモデルでは乖離しなくても、強力なモデルでは起こりうる
  - NNは解くべき問題を間違えた状態でも、正確に問題を解いてしまう
- 長期的な行動を最適化するために、短期的な行動について学習する方法が必要
- 短期的な行動にはノイズが多いため、学習目的の定義が微妙に変わると、生成されるレコメンデーションが大きく変わってしまう
分布の不一致
- MLモデルを実世界に展開する際、起こりうる
- 学習データはそのモデルが使用される母集団を反映していない
共変量シフト
- 重要度サンプリングなどは、NNなどの強力なモデルでは効果が低いことが知られている
公平性と説明可能性
- モデルがあるエンティティを不公平に扱っていないか
- オフラインとオンラインのミスマッチの問題とも関連している
- 適切なオフライン評価データがないために公平性の観点から簡単に評価することができない場合がある
  - ex) 大多数のデータではうまくいっているのに、少数のデータではうまくいかない
  - SHAPなどのテクニックがディープラーニングで有用であることを発見した

zerebom / paper-books

Deep learning for recommender systems: A Netflix case study #53

Abstract

INTRODUCTION

RECOMMENDATIONS AT NETFLIX

データの種類と特性は、推薦アルゴリズムがうまく機能するか決定的な影響を与える

他のデータセットと、推薦システムデータセットの違い

MODELING APPROACHES

Bag-of-items approaches

Sequential models

Adding heterogeneous features

PRACTICAL CHALLENGES

Mismatch in offline and online settings

Aspects of the industrial setting

CONCLUSIONS