search

wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
297 stars 2 forks source link

[2023/09/27]Machine Learning 輪講 #213

Open hakubishin3 opened 9 months ago

hakubishin3 commented 9 months ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/212

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Hayashi-Yudai commented 9 months ago

A Study of Symbiosis Bias in A/B Tests of Recommendation Algorithms (Preliminary Draft)

推薦システムのABテストで何も考えずにユーザをランダムに振り分けると結果にバイアスが乗ってしまう、ということを書いてある論文。

一般に２つの推薦モデルをオンラインテストする時、モデルの学習に使われるデータはcontrolモデルの推薦を受けたユーザとtreatmentモデルの推薦を受けたユーザの両方のデータが含まれる。推薦システムはユーザの行動に影響を与えるものなのでこれはSUTVAの仮定が成り立たなくなる。

この問題を解消する手段として、論文では以下の２つの方法を提案している。

シミュレーション結果

image

普通にランダム化したとき(Naive)よりもバイアスが軽減できている。

zerebom commented 9 months ago

Reward innovation for long-term member satisfaction

RecSys2023のNetflixの論文。Netflixの推薦システムは短期的なエンゲージメントではなく、長期的な会員満足度を最大化している。より良く会員満足度を表す代理的な指標を開発する方法やTipsを紹介している。