search

yskn67 / reading_papers

reading papers memorandum
MIT License
1 stars 0 forks source link

Deconfounding User Satisfaction Estimation from Response Rate Bias #21

Open yskn67 opened 3 years ago

yskn67 commented 3 years ago

一言でいうと

ユーザのアンケート回答によるレコメンドの満足度を予測するモデルを構築する際に、ユーザの回答が得られる/得られないによるバイアスが発生する。 ユーザの回答が得られるのは全アンケートの内おおよそ約2%だそう。 加えて、ユーザは満足度の高いときによくアンケートに回答する傾向にある。

スクリーンショット 2020-10-05 1 29 55

これを解決するためにユーザがアンケートに回答する確率を同時に予測して、満足度予測モデルの構築に活用した(IPW)

スクリーンショット 2020-10-05 1 30 05 スクリーンショット 2020-10-05 1 29 37 スクリーンショット 2020-10-05 1 29 44

このモデルをレコメンドに適用したところ、アンケートの回答率が低いユーザの満足度が特に改善された。 アンケートの回答率が高いユーザでは悪化したが全体的には改善されたとのこと。

論文リンク

https://dl.acm.org/doi/10.1145/3383313.3412208

著者/所属機関

Konstantina Christakopoulou 1 Madeleine Traverse 1 Trevor Potter 1 Emma Marriott 1 Daniel Li 1 Chris Haulk 1 Ed H. Chi 1 Minmin Chen 1

1 Google, Inc

投稿日付(yyyy/MM/dd)

recsys 2020

yskn67 commented 3 years ago

ユーザのアンケートの回答率の予測ではサブサンプリングを用いて回答した/してないデータが1:1になるようにしたとのこと。 収束が早くなるのに加えROC-AUCも改善したとのこと。