Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

[nogawanogawa]

論文URL

https://research.google/pubs/pub48840/

著者

Xinyang Yi Ji Yang Lichan Hong Derek Zhiyuan Cheng Lukasz Heldt Aditee Ajit Kumthekar Zhe Zhao Li Wei Ed Chi

会議

RecSys 2019

背景

推薦システムは、多くの場合

1. 検索
   • 少数の関連アイテムに絞る
2. ランキング
   • 絞り込んだアイテムを再度ランク付けする

の二段階（2stage）のシステムを設計することが多くなっている。

このうち、検索に関しては、従来行列分解系のアプローチが取られていた。 しかしアイテムのコンテンツ的特徴は、先行研究で使用されてはいたが性能は不十分であった。

目的

• candidate retrievalにおけるコンテンツ特徴を利用した高速な検索

アプローチ

• Two Tower model
  • {ユーザー, コンテキスト}と{アイテム}の2つのMLPを単純なスコアリング関数（dot product）で結合する
  • ネガティブサンプリングではなく、推定された項目の頻度を用いてバッチソフトマックスのサンプリングバイアスを補正

ひとことメモ

Two-Tower modelの大本の論文っぽい

[nogawanogawa]

背景

推薦システムは、多くの場合

1. 検索
   • 少数の関連アイテムに絞る
2. ランキング
   • 絞り込んだアイテムを再度ランク付けする

の二段階（2stage）のシステムを設計することが多くなっている。

このうち、検索に関しては、従来行列分解系のアプローチが取られていた。 しかしアイテムのコンテンツ的特徴は、先行研究で使用されてはいたが性能は不十分であった。

[nogawanogawa]

目的

• candidate retrievalにおけるコンテンツ特徴を利用した高速な検索

アプローチ

• Two Tower model
  • {ユーザー, コンテキスト}と{アイテム}の2つのMLPを単純なスコアリング関数（dot product）で結合する
  • ネガティブサンプリングではなく、推定された項目の頻度を用いてバッチソフトマックスのサンプリングバイアスを補正

[nogawanogawa]

Two-Tower model

ユーザークエリx とアイテムyがあたえられたとき、これらの確率分布はsoftmaxで下記のようにあたえられる。

これに対数尤度とrewardを考慮したロスは

一般にアイテム数は非常に大きいので、これをバッチに切り分けで考える。 通常ネガティブサンプリングを行うが、ここではバッチの中からネガティブサンプリングを行う。

ポピュレーションバイアス考慮のために、

のように出現確率を推定する。

バッチ内の正例以外をすべて負例として扱う。

これをロスにすると

のようになる。 このようにして学習を行う。

アルゴリズムにすると下記のようなイメージ。

[nogawanogawa]

YouTubeのデータへの適用

• 学習ラベル
  • 動画がすべて視聴されたらreward = 1, 逆に短かったらreward=0
• 動画特徴量
  • video id, channel id, video topicsなど
  • 未知のアイテムに対応できるために、idなどはhash化しているみたい
• ユーザー特徴量
  • ユーザーが最近視聴したk個の動画のid列
  • 動画idの埋め込みの平均で表現する

その他

• 隠れ層
  • [1024, 512, 128]
• 最適化
  • Adagrad
• 学習率0.2
• バッチサイズ8192
• 頻度推定に使用するパラメータ
  • H = 50M
  • m = 1
  • α = 0.01

[nogawanogawa]

評価

YouTube Experiments

Recallは高くなるらしい

A/Bテストの結果としても下記のように良くなっている。