Recent Trends in Personalization at Netflix

[hakubishin3]

RecSys 2020 Sponsor Expos: Netflix Research https://whova.com/portal/webapp/recsy_202009/Agenda/1243623/ https://www.slideshare.net/justinbasilico/recent-trends-in-personalization-at-netflix

[hakubishin3]

Summary

Netflix personalization team によるプレゼン. personalizationに関連する要素のうち近年話題になっているものをピックアップして, 概要と課題をまとめている.

• Causality
• Bandits
• Reinforcement Learning
• Objectives
• Fairness
• Exmerpence Personalization

[hakubishin3]

Objectives

推薦システムをリリースする際に見るメトリクスは, Training Objective, Offline Metric, Online Metric とフェイズごとに存在する.

理想的にはリリースして達成したいものをそのままMetricとして置ければいいが現実はそうではない. 例えば, User Engagementの促進を目的とした推薦の場合, Training ObjectiveはRMSE, Offline MetricはNDCG on historical data, Online MetricはUser Engagement in A/B Testとかになるだろう.

また複数のMetricsを良くしたいケースもある. この場合はMulti-Task Learningが選択肢として挙げられる.

この要素に関するチャレンジとして,

• Ways of measuring improvements offline before going to A/B test ?
• What about effects beyond typical A/B time horizon?
• Nuanced metrics