IntTower: the Next Generation of Two-Tower Model for Pre-Ranking System

[nogawanogawa]

論文URL

https://arxiv.org/abs/2210.09890

著者

Xiangyang Li, Bo Chen, HuiFeng Guo, Jingjie Li, Chenxu Zhu, Xiang Long, Sujian Li, Yichao Wang, Wei Guo, Longxia Mao, Jinxing Liu, Zhenhua Dong, Ruiming Tang

会議

CIKM' 2022

背景

通常、多段階の推薦システムにおいて、最初のステージでは高速なscoringアルゴリズムによって予備的な異フィルタリングが行われる。このpreranking(おそらくcandidate retrievalのあとの処理)にとって、大量のcandidate に対して高速にscoringすることは不可欠な要件になっている。

現在では、これの主流はTwo-Tower modelが採用されいているが、このモデルはscoringの効率化のためにuserとitemの間の相互作用を完全に無視しており、推論精度に悪影響を与えてしまっているという問題がある。

先行研究のCOLDやFSCDについては、相互作用は考慮しているが、今度は従来ほど効率を高めることができていない。

目的

• Two towerモデルにおいてuser-item間の相互作用を考慮することでprerankingの精度向上

アプローチ

• IntTower（Interaction enhanced Two-Tower)
  • 相互作用と推論効率の両方を重視したtwo tower model
  • Light-SE、FE-Block、CIRモジュールを活用
  • Light-SEモジュールを用いて、異なる特徴の重要度を識別
  • FE-Blockモジュールは、ユーザーとアイテムタワー間の相互作用信号を明示的に捕らえる
  • CIRモジュールは、相互作用をさらに暗黙的に強化する

ひとことメモ

• Two tower model の改良
  • two towerの効率は失わず、tower間の相互作用を反映できるようにすることで性能を上げる
• コードも公開
  • https://github.com/archersama/IntTower

[nogawanogawa]

背景

通常、多段階の推薦システムにおいて、最初のステージでは高速なscoringアルゴリズムによって予備的な異フィルタリングが行われる。このpreranking(おそらくcandidate retrievalのあとの処理)にとって、大量のcandidate に対して高速にscoringすることは不可欠な要件になっている。

現在では、これの主流はTwo-Tower modelが採用されいているが、このモデルはscoringの効率化のためにuserとitemの間の相互作用を完全に無視しており、推論精度に悪影響を与えてしまっているという問題がある。

先行研究のCOLDやFSCDについては、相互作用は考慮しているが、今度は従来ほど効率を高めることができていない。

[nogawanogawa]

目的

• Two towerモデルにおいてuser-item間の相互作用を考慮することでprerankingの精度向上

アプローチ

• IntTower（Interaction enhanced Two-Tower)
  • 相互作用と推論効率の両方を重視したtwo tower model
  • Light-SE、FE-Block、CIRモジュールを活用
  • Light-SEモジュールを用いて、異なる特徴の重要度を識別
  • FE-Blockモジュールは、ユーザーとアイテムタワー間の相互作用信号を明示的に捕らえる
  • CIRモジュールは、相互作用をさらに暗黙的に強化する

[nogawanogawa]

Two Tower model

Two towerモデルはは2つの並列サブネットワークで構成されている。 この辺は省略。

モチベーション的には、Two　Towerは早いけど、2つのtowerに分離している関係上user- itemの相互作用を考慮できない問題がある

[nogawanogawa]

IntTower

ポイントは3つのモジュール

• Light-SE (Lightweight SENET)
• FE Block (Fine-grained and Early Feature Interaction Block)
• CIR (Contrastive Interaction Regularization)

Light-SE

COLD やFiBiNETで使用されるSENETは特徴の重要度を決めるモジュールである。 これをそのまま使うと効率の低下が懸念されるので、簡易版を使用している。

user/item embeddingをaverage poolingする。

次に単相のNNを用いて重要度を抽出する。

最後に、重要度ベクトルkとembedding eを掛け合わせることでrefined user feature embeddingを得る。

FE Block

FE Blockには相互作用 と 投影ステップがある。

user towerの各FC層とitem towerの最終層の出力からH個の部分空間にマッピングする。

部分空間にマッピングしたembからrelevance scoreを計算する。

最終的な出力はそれらのsumを取ったもの

CIR

正則化としてCIRモジュールがある。

正のペア(M𝑢𝐿)を構築し、(M𝑢,M𝑣′)はᵃ𝑣の時に負のペアであるとする。 先行研究に従い、正のペアの一貫性を最大化し、負のペアの一貫性を最小化する。

[nogawanogawa]

評価

現実的にprerankingに使用できるアルゴリズムのなかでは最も性能が良く、rankingのアルゴリズムと比較しても遜色ないレベルで推定できている。

上が学習時の効率、下が推論時の効率を表す。 推論は、Two towerと遜色ないレベルで効率的に処理できることがわかる。

[nogawanogawa]

こんな感じで使用する想定らしい。