Hayashi-Yudai
commented
1 year ago Debiased Offline Evaluation of Recommender Systems: A Weighted-Sampling Approach
推薦システムの評価をするときに、データにバイアスがあるとモデルの性能を正確に測ることができないという課題をデータ品質側から解決しようとした論文。ここでフォーカスしているバイアスは、「データ欠損の非ランダム性」。例えばECサイトでいうと人気アイテムにはユーザは良くインタラクションするが、そうではないアイテムにはあまりインタラクションしないのでアイテムの人気度でデータセットの欠損パターンにバイアスがかかる。
この論文では、データセット全体から評価に使うデータセットをサンプリングする方法について提案している。
アイデア自体は非常にシンプルで、理想的な状態(MAR; Missing At Random)よりもあるユーザ or アイテムがサンプリングされにくい状態(MNAR; Missing Not At Random)になっていればウェイトを掛けてサンプリング確率を上げる、逆なら下げるということをしている。
MARとMNARデータが両方あるデータセットを使って提案手法(WTD, WTD_H)を評価。評価値がMARでの値(Y^gt)とどれだけ乖離するかまとめている(Recall@10)。
- バイアスが掛かった状態のデータを使うと、モデルが特定のセグメントについて良く学習していてそれを拾ってきてしまい性能が過剰評価されている(FULL, REG)。
- アイテムの人気度でウェイトを掛けるSKEWと比べて、より包括的にバイアスを扱える提案手法のほうがモデルの性能をより正確に評価できている
hakubishin3
nogawanogawa
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. https://github.com/wantedly/machine-learning-round-table/issues/197
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！