nogawanogawa / paper_memo

4 stars 0 forks source link

Fresh Content Needs More Attention: Multi-funnel Fresh Content Recommendation #101

Closed nogawanogawa closed 8 months ago

nogawanogawa commented 8 months ago

論文URL

https://dl.acm.org/doi/10.1145/3580305.3599826

著者

Jianling Wang, Haokai Lu, Sai zhang, Bart Locanthi, Haoting Wang, Dylan Greaves, Benjamin Lipshitz, Sriraj Badam, Ed H. Chi, Cristos Goodrow, Su-Lin Wu, Lexi Baugher, Minmin Chen

会議

KDD '23

背景

推薦システムの多くはユーザーの過去のインタラクションを収集して学習されているが、"rich gets richer"効果をもたらす強力なFBループを生み出している。 一方、新鮮なItemは最初の露出とインタラクションがないため、適切なユーザーに表示されるまでに大きな障壁が存在する。

これに対応するためには、初期露出のために手を打つ必要がある。 これまでコールドスタート問題について研究はなされてきたが、ビジネス規模(YouTubeでは毎分500hの動画がアップ、Spotifyでは1.4秒に新しいトラックがアップ)の推薦ではどのように対応すべきかはまだ十分に研究されていない。

目的

"rich gets richer"なFBサイクルを断ち切り、質の高い新鮮なコンテンツが表面化する健全なプラットフォームの構築

アプローチ

ひとことメモ

nogawanogawa commented 8 months ago

背景

推薦システムの多くはユーザーの過去のインタラクションを収集して学習されているが、"rich gets richer"効果をもたらす強力なFBループを生み出している。 一方、新鮮なItemは最初の露出とインタラクションがないため、適切なユーザーに表示されるまでに大きな障壁が存在する。

これに対応するためには、初期露出のために手を打つ必要がある。 これまでコールドスタート問題について研究はなされてきたが、ビジネス規模(YouTubeでは毎分500hの動画がアップ、Spotifyでは1.4秒に新しいトラックがアップ)の推薦ではどのように対応すべきかはまだ十分に研究されていない。

nogawanogawa commented 8 months ago

目的

"rich gets richer"なFBサイクルを断ち切り、質の高い新鮮なコンテンツが表面化する健全なプラットフォームの構築

アプローチ

nogawanogawa commented 8 months ago

FRESH CONTENT RECOMMENDATION

通常推薦システムは多段階のステージを持ち、

  1. candidate retrieval
  2. ranking
  3. ビジネスロジックなどの適用

などが行われる。このとき、新鮮なItemはそもそも発見されにくい。

ベースパイプライン

このような問題に対応するために、特定のスロットに新鮮なコンテンツを割り当てる。

image

新鮮なコンテンツの推薦にはtwo towerモデルによってコールドスタート問題を克服する。 クエリタワーはユーザーの消費履歴に基づいて学習され、candidate towerはitemの特徴に基づいて学習される。 これによって、インタラクションがゼロのアイテムに対しても汎化できる。

新鮮なコンテンツが最初のインタラクションを書くとすうるとメインのレコメンデーションシステムによって選択されるようになるが、逆に専用スロットでこれらを表示し続けると他のアイテムを表示できない。 そのため、他のコンテンツに再割当てする。(graduation filter)

オンラインテスト設計

通常ユーザーごとにユーザーを2分するが、これだとフレッシュなコンテンツが両方に出てしまい、影響を正しく測定できない。 そこで、treatmentはtreatmentのユーザーとコンテンツの集合、controlはcontrolのユーザーとコンテンツの集合、になるように分割する。

image

結果

専用スロットの効果を示す。

image

(a)ハイパラKにもよるが、専用スロットを追加することでimpを受けるアイテム数が増加している(縦軸はcontrolに対するover分)

(b)より大きなコーパスがユーザーによって発見されていることがわかる 横軸がpositiveなインタラクションを受けた数、縦軸がそのときの期間を表す

(c)コンテンツ提供者はよりたくさんのコンテンツをアップする用になる

nogawanogawa commented 8 months ago

MULTI-FUNNEL FRESH CONTENT RECOMMENDATION

基本的に専用スロットを追加すると問題が解決できることがここまでで分かった。 次は専用スロットに表示するアイテムの推薦に絞って確認する。

content generation

通常のtwo towerモデルだと人気バイアスを受けてしまうので、更に変更を加える

Real-Time Learning

コンテンツの特徴に依存するノミネータは新鮮なコンテンツを表示するには有効ではあるが、ユーザーのFBへ反応する能力がかけている。(悪いコンテンツは早めに除外したい)

つまり、ほぼリアルタイムのノミネータが必要になる。

これもtwo towerモデルで実装される。

image

※あんま良くわかってない

Low-funnel VS Middle-funnel Contents

ここまで、Low-funnel VS Middle-funnelの両方についてモデルを作って来たが、これらは同時に併用する必要がある。 そのため、並列して稼働させることで動作させる。

image

nogawanogawa commented 8 months ago

評価

daily unique impressed contents

image

シングルのmidのtowerだけ(左)だとカバレッジが低くなってしまうが、マルチタワーにするとカバレッジが増加していることがわかる

ユーザ・メトリクス

(a) ユーザーの滞在時間は変化しない (b) コールドユーザーに対するコンテンツの滞在時間が0.45%増加 (c) S-real-timeはカバー率は1.41%低かったが、ポジティブなインタラクションは増加しているから推薦としては良質なものになっている(価値がある)

image