hakubishin3
commented
2 years ago RankFlow: Joint Optimization of Multi-Stage Cascade Ranking Systems as Flows
Qin, Jiarui and Zhu, Jiachen and Chen, Bo and Liu, Zhirong and Liu, Weiwen and Tang, Ruiming and Zhang, Rui and Yu, Yong and Zhang, Weinan
https://dl.acm.org/doi/abs/10.1145/3477495.3532050
マルチステージ間の相互作用を考慮したマルチステージ推薦システムのフレームワークRankFlowを提案
課題
既存のマルチステージの推薦システムは各ランキングステージを独立で学習して推論を行っている。
推論時は前段のステージの結果を後段の入力に渡す形式を取っているため、各ステージにおいて学習データ分布と推論データ分布が大きくズレてしまう課題がある（セレクションバイアス）。また後段ほど影響が積み重なり問題が大きくなりやすい。
また学習時に独立したものとして扱っている各ステージは実際には相互作用しているので、相互作用を考慮した学習方法を利用することで、独立で学習するやり方よりも効率良く性能の高いシステムを作ることが期待できる。
アプローチ
マルチステージの推薦システムのフレームワークとして RankFlow を提案。予め独立して学習された各ステージで推論を行いデータセットを生成しておき、前段で生成されたデータセットを利用して後段のステージが2種類のタスク（self learning, tutor learning）を解くことによって、学習データと推論データの分布を一致させた推論精度の担保（バイアスの問題の緩和）と、複雑な後段モデルを教師とした前段モデルの精度向上（各ステージの相互作用の利用）を実現させる。
self learning は前段ステージで生成されたデータセットを使って学習するタスク。
tutor learning は後段モデルを教師として前段モデルを訓練するタスク。後段モデルは複雑で性能の高いモデルが採用されるので、前段モデルの良い教師となる。
実験結果
Performance
複数のデータセットでベースラインに比べて性能向上していることを確認。
Ablation Study
構成要素を抜くと精度が落ちるのでどれも基本的に重要。特に self learning は必要性が高い。
プレランキングを複雑なモデルに置き換えた場合のプレランキングの性能向上度合い（ベースラインは独立に学習したプレランキング）。Rank as Pre-rank はランキングモデルをプレランキングに採用したもの。RankFlowはオリジナルのプレランキングをRankFlowで学習させたもの。RankFlowは複雑なモデルをプレランキングに導入しなくても性能向上するので、推論速度の観点でもお得。
Hyperparameters Study
ステージの数を2,4で実験。異なるステージ数でも安定して性能向上していることを確認。
Hayashi-Yudai
zerebom
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. https://github.com/wantedly/machine-learning-round-table/issues/161
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！