[2019] Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches

[osuossu8]

論文リンク

https://arxiv.org/pdf/1907.06902.pdf

公開日（yyyy/mm/dd）

2019/08/16

概要

• RecSys Best Paper at 2019
• 機械学習研究における潜在的な問題点を指摘 (結果の再現性や提言を行う際のベースラインの選択)
• トップn推薦タスクに対するアルゴリズム提案を系統的に分析した結果を報告
  • 過去数年間にトップレベルの研究会議で発表された18のアルゴリズムを検討
  • 合理的な努力で再現できたのは7つだけ
  • そのうちの6つは、最近傍法やグラフベースの手法に負け
  • 残りの１つはベースラインには勝ったが、よく調整された非ニューラル線形ランキング法を一貫して上回る結果は得られなかった
• Contribute
  • 推薦分野における現在の研究の再現性のレベルを評価したこと
  • 現在の機械学習の研究実践に関連して、より広範囲に及ぶ可能性のある問題を特定することにある

[osuossu8]

• ベースライン選択の問題

  • 与タスクやデータセットに対して弱すぎるものが選択される
  • ベースラインがよくチューニングされない
  • 新アルゴリズムが同系統のアルゴリズムからベースライン選択される
    • Deep ベースの新手法では同じ Deep ベースのものからベースラインが選択されてしまう

• ベースラインに関する問題に加えて、研究者が様々なタイプのデータセット、評価プロトコル、性能測定、データの前処理ステップを使用しているため、異なるアプリケーションシナリオでどの方法が最良であるかの結論を出すことが困難になっている

  • ソースコードやデータが共有されていない
  • そもそも研究者がソースコードを公開するのは義務ではない
  • 公開されているケースでも不十分な場合が多い
    • データの前処理、パラメータのチューニング、正確な評価手順などのコードが含まれていない

• 他の問題

  • 査読者プールの薄さ
  • 特定のタイプの研究を刺激する可能性のある著者へのインセンティブの不均衡
  • 再現性・進歩性

[osuossu8]

memo

• トップn推薦関連の，精度，リコール，MAPなどの評価分類や順位付けの指標を用いた論文のみを分析対象とした

• 元々使用されていた訓練-テストの分割が公開されているもの

• 再現可能論文 / 再現不可能論文

  

• 再現可能リスト

  • [10] Collaborative Memory Network for Recommendation Systems
  • [14] Neural Collaborative Filtering
  • [17] Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model
  • [23] Collaborative Variational Autoencoder for Recommender Systems
  • [24] Variational Autoencoders for Collaborative Filtering
  • [48] Collaborative Deep Learning for Recommender Systems
  • [53] Spectral Collaborative Filtering

[osuossu8]

memo

• 手法
  • TopPopular
  • ItemKNN
    • KNN と項目間の cos 類似度に基づく伝統的な協調フィルタリング(CF)アプローチ
    • TF-IDF や BM25 で重み付け可
    • 類似度はベクトルノルムの積で正規化されていてもいなくてもよい
    • パラメータh(収縮項)は、相互作用が少ない項目間の類似度を下げるために使用
  • UserKNN
    • ユーザ間の類似度を使用
  • ItemKNN-CBF
    • アイテムコンテンツベースフィルタリング(CBF)
  • ItemKNN-CFCBF
    • CF と CBF のハイブリッド
    • 最初に評価のベクトルと特徴のベクトル - [ri ,wfi] - を連結し，後で連結したベクトル間の余弦類似度を計算することで計算
  • P^3α
    • ユーザーとアイテム間のランダムウォークを実装したシンプルなグラフベースのアルゴリズム
    • ユーザーuのアイテムは、ユーザーuから始まる3段階のランダムウォークの確率に基づいてランク付けされる
    • ユーザーuからアイテムiにジャンプする確率puiは、暗黙のユーザーレーティング行列aspui = (rui /Nu )αから計算される
      • 低計算コストで良好な推薦品質
  • RP^3β
    • P^3αの結果を、類似度を各項目の人気度で除算して係数βの乗に上げることで修正
    • β=0 の時, P^3αの結果と一致

[osuossu8]

CMN 法

• SIGIR '18で発表され、メモリネットワークとニューラル注意メカニズムを潜在因子モデルと近隣モデルと組み合わせたものである
• 著者ら実験設定
  • 比較手法 : 異なる行列分解, ニューラルレコメンデーションアプローチ, ItemKNNアルゴリズム
  • データセット : Epinions、CiteULike-a、Pinterest
  • ヒット率, NDCG
• 提案手法のハイパラは共有🙆‍♀️、比較対象ベースラインのハイパラ🙅‍♀️
• 約660kのオブザベーションからなるこの比較的小さく非常に疎なデータセットでのCMNの成功は、データセットの特殊性やCMNのポピュラリティ・バイアスと結びついている可能性がある
• Epinionsのデータセットは他のデータセットに比べて、人気度の分布が非常に不均一であることが明らかになりました（Gini指数は0.69対CiteULike-aの0.37）

[osuossu8]

Metapath based Context for RECommendation (MCRec)

• KDD '18
• 映画のジャンルなどの補助情報を利用したメタパスベースのモデル (TopN)
• より質の高いパスインスタンスを選択するための優先度ベースのサンプリング技術を提案
• メタパスベースのコンテキスト、ユーザー、アイテムの表現を改善するための新しい共同アテンション機構を提案
• 著者ら実験設定
  • データセット : MovieLens100k, LastFm, Yelp (小さい)
  • 4つの手法をベンチマーク
  • 評価指標 : Precision, Recall, NDCG
  • 80/20 の分割 * 10 (MovieLens のみ分割公開)
  • MF と NeuMF ベースラインは論文公開のハイパラ使用、他は未公開

[osuossu8]

Collaborative Variational Autoencoder (CVAE)

• KDD '18
• コンテンツとレーティング情報の両方を考慮したハイブリッド手法
• 教師なしでコンテンツデータから深い潜在表現を学習し、コンテンツとレーティングの両方から項目とユーザーの間の暗黙の関係を学習
• 2つの比較的小さなCiteULikeデータセット（13万5000件と20万5000件のインタラクション）で評価
• 異なるリスト長（50～300）でのリコールが評価指標として使用
• 長さが 50 : CF > CVAE
• より長いリスト長, 疎な CiteULike-t データセット : ItemKNN-CFCFBF 法が best

[osuossu8]

Collaborative Deep Learning (CDL)

• 積層型ノイズ除去オートエンコーダー（SDAE）と協調フィルタリングの共同学習のための確率的フィードフォワードモデル
• コンテンツ情報と協調情報の深い表現を共同学習
• CTR法と比較して、特に疎なデータ状況において有利

[osuossu8]

Neural Collaborative Filtering (NCF)

• WWW '17
• データから任意の関数を学習できるニューラルアーキテクチャに内積を置き換えることで、Matrix Factorizationを一般化したもの
• 100万件のインタラクションと150万件のインタラクションを含む2つのデータセット（MovieLens1MとPinterest）で評価
• leave-one out (分割は公開)
• ヒット率とNDCGを評価指標
• 既存の行列分解モデルと比較して、10までの長さの異なるリストを用いた場合、NeuMFが有利

[osuossu8]

Spectral Collaborative Filtering (SpectralCF)

• RecSys '18
• コールドスタート問題に特化して設計
• Spectral Graph Theoryの概念に基づく
• スペクトル領域で直接協調的な推薦を行うために使用される、二部構成のユーザ-アイテム関係グラフと新しい畳み込み演算に基づく
• MovieLens1M、HetRec、Amazon Instant Video で評価
• 80/20 split
• Recall, MAP
• HetRecとAmazon Instant Videoのデータセットでは、TopPoularメソッドも含めて、すべてのベースラインが、すべての測定においてSpectralCFを上回る
• 提供されたMovieLensデータスプリットでコードを実行すると、SpectralCFが大差ですべてのベースラインよりも優れていることがわかった
• 共有テストセットのデータセットの特性が、ランダムな分割から大きく乖離している
• 分布がランダム分割よりもはるかに高いポピュラリティ・バイアスを持つ

[osuossu8]

Variational Autoencoders for Collaborative

Filtering (Mult-VAE)

• WWW '18
• 変分オートエンコーダーに基づく暗黙のフィードバックのための協調フィルタリング手法
• 多項尤度を持つ生成モデルを導入
• 異なる正則化パラメータを提案
• パラメータ推定にベイズ推論を用いる
• 著者ら実験設定
  • データセット : MovieLensとNetflix
  • 比較手法 : 重み付き行列因数分解, 線形モデル（Elastic Netを用いたSLIM）
  • NDCG (🤔), Recall (🙂)
• 特定のケースでは、ニューラルアプローチによって達成される進歩は部分的なものに過ぎず、選択された評価尺度に依存