search

nogawanogawa / paper_memo

4 stars 0 forks source link

Personalized Transfer of User Preferences for Cross-domain Recommendation #49

Closed nogawanogawa closed 2 years ago

nogawanogawa commented 2 years ago

論文URL

https://arxiv.org/abs/2110.11154

著者

Yongchun Zhu, Zhenwei Tang, Yudan Liu, Fuzhen Zhuang, Ruobing Xie, Xu Zhang, Leyu Lin, Qing He

会議

WSDM 2022

背景

コールドスタート問題は、推薦システムにおける大きな問題の一つである。 この問題に対応する一つの有望な解決策に、クロスドメインレコメンデーション（CDR）がある。 しかし、CDRではソースドメインからターゲットドメインへユーザーの嗜好をどう転移するかが大きな問題になる。

従来の手法の多くはこの転移に共通のブリッジを使用して嗜好をモデル化している。 しかし、直感的には嗜好はユーザごとに異なり、異なるユーザーの嗜好ブリッジは異なると考えられる。

image

目的

ユーザーごとにパーソナライズされた嗜好ブリッジを使用することで、より精度の高いクロスドメインレコメンデーションの実現。

アプローチ

nogawanogawa commented 2 years ago

背景

コールドスタート問題は、推薦システムにおける大きな問題の一つである。

ここで、今回対象とする状況は複数のドメイン（書籍販売や音楽販売、動画販売等）がある中で、特定のドメインには多くのインタラクションがあるが、別のドメインではログが少ないもしくはまったくない状況を想定している。

この状況でコールドスタート問題に対応する一つの有望な解決策に、クロスドメインレコメンデーション（CDR）がある。 しかし、CDRではソースドメインからターゲットドメインへユーザーの嗜好をどう転移するかが大きな問題になる。

従来の手法の多くはこの転移に共通のブリッジを使用して嗜好をモデル化している。 しかし、直感的には嗜好はユーザごとに異なり、異なるユーザーに対しての嗜好ブリッジは異なると考えられる。

image

nogawanogawa commented 2 years ago

目的

ユーザーごとにパーソナライズされた嗜好ブリッジを使用することで、より精度の高いクロスドメインレコメンデーションの実現。

アプローチ

image

nogawanogawa commented 2 years ago

Personalized Transfer of User Preferences for Cross-domain Recommendation (PTUPCDR)

論文の提案手法であるPTUPCDRの概要は下記のようになっている。

image

Characteristic Encoderで作成されたEmbeddingについて、Meta Networkを通し、その出力をPersonalized Bridgeを通すことでドメイン変換されたuser embeddingを得る。

Characteristic Encoder

image

v: アイテムのembedding a: userにおけるアイテムvに関するattention score

これをユーザーのsourceドメインにおいて重み付き総和を取ることで取得する。 attentionには2層のfeed forwardNNを使用している。

これがuserのsourceドメインのembeddingになる。

Meta Network

Meta Networkは下記の式のようにユーザーのsourceドメインのembeddingを入力として変換を行う。

image

この論文では、Meta Networkは2層Feedforward NNになっている。

Personalized Bridge

Personalized Bridge 関数は下記の式で表される用に、Meta networkの出力をパラメータとして使用する。

image

ブリッジ関数はユーザーのCharacteristic Encoderに依存して変化するため、これでPersonalized Bridgeが実現される。 これを用いて下記のように、sourceドメインからtargetドメインへのuser embeddingを得ることができるようになる。

image

学習

基本的な考え方としては、下記のようなロスを取ることで学習を行う。

image

学習は、sourceドメインからtargetドメインへ変換したuser embeddingと、実際にtargetドメインで使用されているuser embeddingの距離の2乗によってLossを計算する。

ただし、ユーザーの埋め込みは十分に正確でない可能性があり、このまま学習を行うとモデルに悪影響を及ぼす可能性がある。 そこでタスク志向の最適化を行う。

image

Rは共通しているtargetドメインでのinteractionの適合度を表す。 変換されたuser embeddingとターゲットドメインのアイテムembeddingの内積と、この適合度の二乗誤差を最小化する用に学習する。 これにより、曖昧なtargetドメインのuser embeddingではなく、真の評価データを直接利用できる。 更にこの手法であれば、比較的学習サンプルが多くすることが可能なためoverfitを回避することができる。

学習の段階

  1. Pre-training stage

image

の関数を最小化するようにsource/targetのu, vを学習する。

  1. Meta stage

Characteristic EncoderとMeta Networkを学習する。

  1. Initialization stage

いくらかtargetドメインでインタラクションがあるユーザーについて、実際にsrc -> targetの変換行い、targetドメインのuser embeddingを初期化

  1. Test stage

極端なcold startなユーザーについて、src -> targetの変換を行う。

個人的論点

nogawanogawa commented 2 years ago

評価

評価に使用するタスク

評価にはAmazon-5cores dataset を使用し、3つのカテゴリを使用する。 一部のユーザーの評価をランダムにすべて削除してテストユーザーとして扱っている。

image

評価指標はMAE、及びRMSEを使用する。

比較対象

TGT : MFのモデルでtarget領域のデータのみを用いて学習させる。 CMF： MFのモデルでsrc/target領域双方のデータを共有して学習させる。これはユーザーembeddinghはsrc/targetで共有されている EMCDR：先行研究で、MFを用いて学習したブリッジモデル DCDCSR：先行研究、sparsityを考慮したブリッジモデル SSCDR：先行研究、反教師あり学習を使用したブリッジモデル

結果

cold startの状況での評価結果について下記に示す。

image

すべてのケースにおいて先行研究の値より優れた結果になった。

MFベース以外のモデルとの比較

MFベースの手法だけでなく、DNNベースのモデルとも比較する。 GMF(複雑に重みを与えたMF)とYouTube DNN(Two tower)のモデルを使用して、評価を行う。

image

GMF（中）、YouTube DNN（右）でもMAEは最小になっていることが確認できる。

warm startからの差分の実験

warm start時とcold start時の性能の比較を行った結果が下記。

image

warm start時よりは性能の低下はあるものの、cold start状況であっても他の手法に比べて良い性能を達成できている。

nogawanogawa commented 2 years ago

その他、評価

embeddingの分布

image

先行研究とembeddingの変換有無で、embeddingが分離されるかを確認した。