Closed nogawanogawa closed 2 years ago
コールドスタート問題は、推薦システムにおける大きな問題の一つである。
ここで、今回対象とする状況は複数のドメイン(書籍販売や音楽販売、動画販売等)がある中で、特定のドメインには多くのインタラクションがあるが、別のドメインではログが少ないもしくはまったくない状況を想定している。
この状況でコールドスタート問題に対応する一つの有望な解決策に、クロスドメインレコメンデーション(CDR)がある。 しかし、CDRではソースドメインからターゲットドメインへユーザーの嗜好をどう転移するかが大きな問題になる。
従来の手法の多くはこの転移に共通のブリッジを使用して嗜好をモデル化している。 しかし、直感的には嗜好はユーザごとに異なり、異なるユーザーに対しての嗜好ブリッジは異なると考えられる。
ユーザーごとにパーソナライズされた嗜好ブリッジを使用することで、より精度の高いクロスドメインレコメンデーションの実現。
論文の提案手法であるPTUPCDRの概要は下記のようになっている。
Characteristic Encoderで作成されたEmbeddingについて、Meta Networkを通し、その出力をPersonalized Bridgeを通すことでドメイン変換されたuser embeddingを得る。
v: アイテムのembedding a: userにおけるアイテムvに関するattention score
これをユーザーのsourceドメインにおいて重み付き総和を取ることで取得する。 attentionには2層のfeed forwardNNを使用している。
これがuserのsourceドメインのembeddingになる。
Meta Networkは下記の式のようにユーザーのsourceドメインのembeddingを入力として変換を行う。
この論文では、Meta Networkは2層Feedforward NNになっている。
Personalized Bridge 関数は下記の式で表される用に、Meta networkの出力をパラメータとして使用する。
ブリッジ関数はユーザーのCharacteristic Encoderに依存して変化するため、これでPersonalized Bridgeが実現される。 これを用いて下記のように、sourceドメインからtargetドメインへのuser embeddingを得ることができるようになる。
基本的な考え方としては、下記のようなロスを取ることで学習を行う。
学習は、sourceドメインからtargetドメインへ変換したuser embeddingと、実際にtargetドメインで使用されているuser embeddingの距離の2乗によってLossを計算する。
ただし、ユーザーの埋め込みは十分に正確でない可能性があり、このまま学習を行うとモデルに悪影響を及ぼす可能性がある。 そこでタスク志向の最適化を行う。
Rは共通しているtargetドメインでのinteractionの適合度を表す。 変換されたuser embeddingとターゲットドメインのアイテムembeddingの内積と、この適合度の二乗誤差を最小化する用に学習する。 これにより、曖昧なtargetドメインのuser embeddingではなく、真の評価データを直接利用できる。 更にこの手法であれば、比較的学習サンプルが多くすることが可能なためoverfitを回避することができる。
の関数を最小化するようにsource/targetのu, vを学習する。
Characteristic EncoderとMeta Networkを学習する。
いくらかtargetドメインでインタラクションがあるユーザーについて、実際にsrc -> targetの変換行い、targetドメインのuser embeddingを初期化
極端なcold startなユーザーについて、src -> targetの変換を行う。
個人的論点
評価にはAmazon-5cores dataset を使用し、3つのカテゴリを使用する。 一部のユーザーの評価をランダムにすべて削除してテストユーザーとして扱っている。
評価指標はMAE、及びRMSEを使用する。
TGT : MFのモデルでtarget領域のデータのみを用いて学習させる。 CMF: MFのモデルでsrc/target領域双方のデータを共有して学習させる。これはユーザーembeddinghはsrc/targetで共有されている EMCDR:先行研究で、MFを用いて学習したブリッジモデル DCDCSR:先行研究、sparsityを考慮したブリッジモデル SSCDR:先行研究、反教師あり学習を使用したブリッジモデル
cold startの状況での評価結果について下記に示す。
すべてのケースにおいて先行研究の値より優れた結果になった。
MFベースの手法だけでなく、DNNベースのモデルとも比較する。 GMF(複雑に重みを与えたMF)とYouTube DNN(Two tower)のモデルを使用して、評価を行う。
GMF(中)、YouTube DNN(右)でもMAEは最小になっていることが確認できる。
warm start時とcold start時の性能の比較を行った結果が下記。
warm start時よりは性能の低下はあるものの、cold start状況であっても他の手法に比べて良い性能を達成できている。
先行研究とembeddingの変換有無で、embeddingが分離されるかを確認した。
論文URL
https://arxiv.org/abs/2110.11154
著者
Yongchun Zhu, Zhenwei Tang, Yudan Liu, Fuzhen Zhuang, Ruobing Xie, Xu Zhang, Leyu Lin, Qing He
会議
WSDM 2022
背景
コールドスタート問題は、推薦システムにおける大きな問題の一つである。 この問題に対応する一つの有望な解決策に、クロスドメインレコメンデーション(CDR)がある。 しかし、CDRではソースドメインからターゲットドメインへユーザーの嗜好をどう転移するかが大きな問題になる。
従来の手法の多くはこの転移に共通のブリッジを使用して嗜好をモデル化している。 しかし、直感的には嗜好はユーザごとに異なり、異なるユーザーの嗜好ブリッジは異なると考えられる。
目的
ユーザーごとにパーソナライズされた嗜好ブリッジを使用することで、より精度の高いクロスドメインレコメンデーションの実現。
アプローチ