On component interactions in two-stage recommender systems

Summary

2-stageの推薦モデルの相互作用を検証した論文
実データ・合成データを使って、RankerとCG(Candidate Generation)の相互作用が全体の性能に大きく影響を与えることを実証している

Abstract

二段階レコメンダーは、その拡張性から、YouTube、LinkedIn、Pinterestなど、現在最大のオンラインプラットフォームで多く採用されている。これらのシステムは、2つのステップで推薦文を作成します。(i) 低遅延に調整された複数のノミネータが、アイテムプール全体から小さな候補のサブセットを事前選択し、 (ii) 遅いがより正確なランカーがさらに候補を絞り込み、ユーザに提供する。しかし、2段階レコメンダーに関する文献は比較的少なく、2段階レコメンダーのアルゴリズムがそれぞれの部分の単なる総和として扱われていることが多い。このような扱いは、2段階の性能が個々の構成要素の動作によって個別に説明されることを前提にしている。しかし、そうではない。合成データと実データを用いて、我々はランカーと推薦者の間の相互作用が全体の性能に大きく影響することを実証する。これらの知見に基づき、我々は一般化下界を導出し、独立した推薦者の訓練により、一様ランダム推薦と同程度の性能を得ることができることを示す。また、アイテムプールを慎重に設計し、それぞれを異なる推薦者に割り当てることで、これらの問題を軽減できることを見出した。このようなプールの割り当てを手動で行うことは困難であるため、我々はMixture-of-Expertsに基づくアプローチにより、代わりにプールを学習することを提案する。これにより、Kにおける精度と再現率が大幅に改善される。

main contributions

二段階レコメンダーが、様々な実験設定において、ランカーと推薦者の間の相互作用に大きく影響されることを示す(セクション3.1)。
我々はこれらの相互作用を理論的に調査し(セクション3.2)、ランカーの独立した訓練は一般的にうまくいくが(命題1)、推薦者の場合はそうではなく、二つの一般的な訓練スキームがともに一様ランダム推薦者の性能と変わらない結果になることを発見する(命題2)。3.
独立した学習がもたらす問題点に対応するため，ノミネータをアイテムプールのより小さな部分集合に特化させることが，大きな性能向上の可能性を持つことを明らかにした．そこで、各推薦者を各項目の専門家として扱うMixture-of-Experts [47, 49] 方式の学習を提案する。アイテムプールを分割して学習することにより、推薦者の一般的に低いモデル化能力による問題を軽減し、経験的にKにおける精度と想起率の向上をもたらす（セクション4）。

graph

Result

arms: CGの母集団のデータ数
nominators: CGの数
regret: 損失の大きさ
d/s: 真の特徴量の次元d/ 1段目のシステムが取得できる集合の大きさ

zerebom / paper-books