Calibrated Recommendation, Herald Steck, Netflix, RecSys'18

[AkihikoWatanabe]

https://dl.acm.org/doi/pdf/10.1145/3240323.3240372

[AkihikoWatanabe]

When a user has watched, say, 70 romance movies and 30 action movies, then it is reasonable to expect the personalized list of rec- ommended movies to be comprised of about 70% romance and 30% action movies as well. This important property is known as cal- ibration, and recently received renewed attention in the context of fairness in machine learning. In the recommended list of items, calibration ensures that the various (past) areas of interest of a user are reflected with their corresponding proportions. Calibration is especially important in light of the fact that recommender sys- tems optimized toward accuracy (e.g., ranking metrics) in the usual offline-setting can easily lead to recommendations where the lesser interests of a user get crowded out by the user’s main interests– which we show empirically as well as in thought-experiments. This can be prevented by calibrated recommendations. To this end, we outline metrics for quantifying the degree of calibration, as well as a simple yet effective re-ranking algorithm for post-processing the output of recommender systems.

Translation (by gpt-4o-mini)

• ユーザーが例えば70本の恋愛映画と30本のアクション映画を観た場合、パーソナライズされた推薦映画リストは、約70%が恋愛映画、30%がアクション映画で構成されることが期待される。この重要な特性はキャリブレーションとして知られ、最近では機械学習における公平性の文脈で再び注目を集めている。推薦アイテムのリストにおいて、キャリブレーションはユーザーのさまざまな（過去の）興味の領域がそれに対応する割合で反映されることを保証する。キャリブレーションは特に重要であり、通常のオフライン設定で精度（例えば、ランキングメトリクス）を最適化することに向けたレコメンダーシステムは、ユーザーの主な興味によってユーザーのあまり興味のない領域が押し出されるような推薦を容易に引き起こすことがあることを、実証的におよび思考実験を通じて示す。この問題はキャリブレーションされた推薦によって防ぐことができる。この目的のために、キャリブレーションの度合いを定量化するためのメトリクスと、レコメンダーシステムの出力を後処理するためのシンプルでありながら効果的な再ランキングアルゴリズムを概説する。

  Summary (by gpt-4o-mini)

• ユーザーの過去の視聴履歴に基づき、推薦映画リストがその興味に応じた割合で構成されることをキャリブレーションと呼ぶ。キャリブレーションは、ユーザーの多様な興味を反映するために重要であり、従来のレコメンダーシステムは主な興味に偏りがちであることが示されている。本研究では、キャリブレーションの度合いを定量化するメトリクスと、出力を後処理する再ランキングアルゴリズムを提案する。