Diffusion Recommender Model

nogawanogawa commented 1 year ago

論文URL

https://arxiv.org/abs/2304.04971

著者

Wenjie Wang, Yiyan Xu, Fuli Feng, Xinyu Lin, Xiangnan He, Tat-Seng Chua

会議

SIGIR'23

背景

生成的推薦モデルは、未観測のインタラクションアイテムに関する確率を推論するための生成過程を学習している。生成的推薦モデルはこれまでにも研究が進められてきた。

GANベース
- インタラクション確率を推定するためにGeneratorを使用
VAEベース
- 潜在因子の事後分布をEncoderを用いて近似、観測された相互作用の尤度を最大化する

VAEの方が優れた結果を示しているものの、

表現能力
扱いやすさ

の観点で問題が残っている。

一方、生成モデルとして、近年では拡散モデルが登場している。順方向のプロセスで徐々にノイズを加えていき、逆方向プロセスで入力を再現するというプロセスで学習を行う。

推薦は、欠損した事前分布から事後分布を予測する逆方向プロセスに似ているため、ここに応用できる可能性がある。

目的

拡散モデルを生成的推薦モデルに適用することで、新しい生成的推薦モデルの方向を切り開く

アプローチ

DiffRec
- 拡散モデルを推薦に応用
- L-DiffRec : アイテムをクラスタリングし、潜在空間において拡散処理を行う
- T-DiffRec：インタラクションのタイムスタンプを使用してインタラクションに重み付け

ひとことメモ

拡散モデルを推薦に応用した例。ちょっと話題になってた。

nogawanogawa commented 1 year ago

背景

生成的推薦モデルは、未観測のインタラクションアイテムに関する確率を推論するための生成過程を学習している。生成的推薦モデルはこれまでにも研究が進められてきた。

GANベース
- インタラクション確率を推定するためにGeneratorを使用
VAEベース
- 潜在因子の事後分布をEncoderを用いて近似、観測された相互作用の尤度を最大化する

VAEの方が優れた結果を示しているものの、

表現能力
扱いやすさ

の観点で問題が残っている。

一方、生成モデルとして、近年では拡散モデルが登場している。順方向のプロセスで徐々にノイズを加えていき、逆方向プロセスで入力を再現するというプロセスで学習を行う。

推薦は、欠損した事前分布から事後分布を予測する逆方向プロセスに似ているため、ここに応用できる可能性がある。

nogawanogawa commented 1 year ago

目的

拡散モデルを生成的推薦モデルに適用することで、新しい生成的推薦モデルの方向を切り開く

アプローチ

DiffRec
- 拡散モデルを推薦に応用
- L-DiffRec : アイテムをクラスタリングし、潜在空間において拡散処理を行う
- T-DiffRec：インタラクションのタイムスタンプを使用してインタラクションに重み付け

nogawanogawa commented 1 year ago

DiffRec

※数式もりもりの箇所は省略、学習時の数式的理解、最適化等が書いてある

Latent Diffusion

アイテム数が非常に大きくなる関係上、Encoder, Decoderを並列処理可能にする。

K-meansで事前に分類しておき、クラスタごとに別途学習されたEncoder、Decoderを使用して変換処理を行う。 Encodeされた潜在空間のembeddingを使用してDiffusionプロセスの計算を行っている。

Temporal Diffusion

ユーザーの嗜好は時間と共に変化する可能性がある。これを考慮するために、インタラクション情報に対して重み付けを行って使用している。

nogawanogawa commented 1 year ago

評価

Recall、 NDCG

Noisy Training

レーティング<4の偽陽性インタラクションをランダムにポジティブインタラクションとしてトレーニングセットと検証セットに追加した結果

各ユーザーの非インタラクションアイテムをランダムにポジティブインタラクションとして追加した結果

-> ノイズに対して先行研究よりロバストであると主張している

nogawanogawa / paper_memo