Closed nogawanogawa closed 1 year ago
通常、多段階の推薦システムにおいて、最初のステージでは高速なscoringアルゴリズムによって予備的な異フィルタリングが行われる。このpreranking(おそらくcandidate retrievalのあとの処理)にとって、大量のcandidate に対して高速にscoringすることは不可欠な要件になっている。
現在では、これの主流はTwo-Tower modelが採用されいているが、このモデルはscoringの効率化のためにuserとitemの間の相互作用を完全に無視しており、推論精度に悪影響を与えてしまっているという問題がある。
先行研究のCOLDやFSCDについては、相互作用は考慮しているが、今度は従来ほど効率を高めることができていない。
Two towerモデルはは2つの並列サブネットワークで構成されている。 この辺は省略。
モチベーション的には、Two Towerは早いけど、2つのtowerに分離している関係上user- itemの相互作用を考慮できない問題がある
ポイントは3つのモジュール
COLD やFiBiNETで使用されるSENETは特徴の重要度を決めるモジュールである。 これをそのまま使うと効率の低下が懸念されるので、簡易版を使用している。
user/item embeddingをaverage poolingする。
次に単相のNNを用いて重要度を抽出する。
最後に、重要度ベクトルkとembedding eを掛け合わせることでrefined user feature embeddingを得る。
FE Blockには相互作用 と 投影ステップがある。
user towerの各FC層とitem towerの最終層の出力からH個の部分空間にマッピングする。
部分空間にマッピングしたembからrelevance scoreを計算する。
最終的な出力はそれらのsumを取ったもの
正則化としてCIRモジュールがある。
正のペア(M𝑢𝐿)を構築し、(M𝑢,M𝑣′)はᵃ𝑣の時に負のペアであるとする。 先行研究に従い、正のペアの一貫性を最大化し、負のペアの一貫性を最小化する。
現実的にprerankingに使用できるアルゴリズムのなかでは最も性能が良く、rankingのアルゴリズムと比較しても遜色ないレベルで推定できている。
上が学習時の効率、下が推論時の効率を表す。 推論は、Two towerと遜色ないレベルで効率的に処理できることがわかる。
こんな感じで使用する想定らしい。
論文URL
https://arxiv.org/abs/2210.09890
著者
Xiangyang Li, Bo Chen, HuiFeng Guo, Jingjie Li, Chenxu Zhu, Xiang Long, Sujian Li, Yichao Wang, Wei Guo, Longxia Mao, Jinxing Liu, Zhenhua Dong, Ruiming Tang
会議
CIKM' 2022
背景
通常、多段階の推薦システムにおいて、最初のステージでは高速なscoringアルゴリズムによって予備的な異フィルタリングが行われる。このpreranking(おそらくcandidate retrievalのあとの処理)にとって、大量のcandidate に対して高速にscoringすることは不可欠な要件になっている。
現在では、これの主流はTwo-Tower modelが採用されいているが、このモデルはscoringの効率化のためにuserとitemの間の相互作用を完全に無視しており、推論精度に悪影響を与えてしまっているという問題がある。
先行研究のCOLDやFSCDについては、相互作用は考慮しているが、今度は従来ほど効率を高めることができていない。
目的
アプローチ
ひとことメモ