kNN-Embed: Locally Smoothed Embedding Mixtures For Multi-interest Candidate Retrieval

nogawanogawa commented 1 year ago

論文URL

https://arxiv.org/abs/2205.06205

著者

Ahmed El-Kishky, Thomas Markovich, Kenny Leung, Frank Portman, Aria Haghighi, Ying Xiao

会議

?

背景

DeepLearningの発展によって、推薦におけるcandidate retrievalはANNベースのものが多くなっている。ただし、この方法はいくつかの問題をはらんでいる。

ユーザーとアイテムの複数の表現を学習しないと、検索されたアイテムは互いに類似性が高い（単一興味だけに関連する）

目的

複数の興味を持つユーザーの嗜好をモデル化したcandidate retrievalの実現

アプローチ

kNN-Embed
- 球面k-meansを使用してアイテムのクラスタリング
- ユーザが過去にエンゲージメントしたクラスタ内においてANN
- さらに、ユーザーに近いユーザーがエンゲージメントしたクラスタ内においてANN

ひとことメモ

https://github.com/nogawanogawa/paper_memo/issues/63 の先行研究

nogawanogawa commented 1 year ago

背景

candidate generationはリコールに焦点を当てている。ただし、一般的なANNベースの候補集合では複数の興味を持つユーザーに対して、単一の興味に関する候補しか取得できない問題がある。

nogawanogawa commented 1 year ago

目的

複数の興味を持つユーザーの嗜好をモデル化したcandidate retrievalの実現

アプローチ

kNN-Embed
- 球面k-meansを使用してアイテムのクラスタリング
- ユーザが過去にエンゲージメントしたクラスタ内においてANN
- さらに、ユーザーに似たユーザーがエンゲージメントしたクラスタ内においてANN

nogawanogawa commented 1 year ago

ベースの考え

ユーザーとアイテムをインタラクションの有無をエッジにして二部グラフで表現する。

これらをベースとしてcandidate retrievalを考える。

このようなデータ構造ではあるが、ノードのEmbeddingを下記の用に考える。

さらに下記の用に負例を追加して学習することでnode embeddingを学習することが出来る。

nogawanogawa commented 1 year ago

kNN-Embed

アイテムのクラスタリング

アイテムに関してspherical k-meansによってクラスタリングを行う。

クラスタの所属判定

クラスタへの関与について、最尤推定によってユーザーが関連するクラスタを推定する。

Nearest Neighbor Smoothing

ユーザーの過去の行動がユーザーの嗜好を完全に反映していないことが考えられるため、類似したユーザーを判定してこれを補う。

類似したユーザーの特定の興味への関与率の平均を取得する

取得した関与率を用いて、自身の Mixture of Embeddingsを補正する。

sampling

近傍探索の中心はcentroidを使用して近傍探索を行う。自身が関与したアイテムのembeddingの中心に加えて、近傍のユーザーが関与したembeddingの中心で補正した点をユーザーの興味の中心として設定する。

nogawanogawa commented 1 year ago

評価

Recall

既存の手法（Mixture）より良さそう

Diversity

多様性は低くなっているが、Recallが上がっていることを考えると無駄なcandidate が減少したと見るのが良さそう（効率が上がった）

当てはまりの良さ

※ユークリッド距離で比較しているので、値が小さいほどよい。

良くなってそう

nogawanogawa / paper_memo