[2023/01/18]Machine Learning 輪講

[nogawanogawa]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/178

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[Hayashi-Yudai]

Effective and Efficient Training for Sequential Recommendation Using Cumulative Cross-Entropy Loss

Sequential recommendationモデルをより効率的に、高精度に訓練するための新しい損失関数の提案。

Sequential recommendationモデルを訓練するときにはこれまでBPRロスやBCEロスがよく使われてきた。しかし、これらのロス関数には次のような欠点があった。

• BPRロス
  • あるタイムスタンプでのロス計算しかしない
  • negative samplingのコストが高い
• BCEロス
  • 負例を学習にうまく使えていない
  • negative samplingのコストが高い

論文ではこれらの欠点を克服した Cumulative cross-entropyロスという損失関数を提案している。

分母に正例も負例も一緒に入っているので明示的にnegative samplingしていない。また、全部のアイテムを損失関数の計算に使っているので効率的にモデルを学習できる。

結果

表が大きいので上3つのデータセットの結果だけ切り抜いている。

Hit rateが最大228 %, nDCGが最大266 %という非常に大きな向上をしている。次に、計算の効率性。一番わかりやすかったGRU4RecのToysデータセットに関するグラフを貼った。

1 epochにかかる時間は大して変わっていないが、少ない時間で精度を上げられており、学習効率が非常に良い事がわかる。

[hakubishin3]

Citation Recommendation for Research Papers via Knowledge Graphs

関連研究の推薦に知識グラフを活用した手法を提案。

この論文が書かれている時点では論文のテキストと引用ネットワークを使った推薦が主流であり、引用している研究論文は同じ概念を共有しているだろうという仮説に基いて、科学的概念に基づく研究論文の接続が推薦の改善に有効かどうかを検討している。

知識グラフは10分野の論文から抽出した科学的概念をもとに生成。in-domain は同じ分野内の論文間で共有される概念、out-domain は異なる分野間でも共有する概念。

https://link.springer.com/chapter/10.1007/978-3-030-72113-8_6

KGを加えることで安定的に性能向上している。 また基本的には in-domain > cross-domain という関係性となっている。

[nogawanogawa]

Positive, Negative and Neutral: Modeling Implicit Feedback in Session-based News Recommendation

論文URL

https://arxiv.org/pdf/2205.06058.pdf

著者

Shansan Gong, Kenny Q. Zhu

会議

SIGIR 2022

背景

オンラインニュースサービスは、膨大な数のユーザーに利用されている。 その多くは匿名・もしくはゲストとしてログインしており、1回のログインセッションで多くの記事を読むことは多くない。 そのためシステムがユーザーの行動を完全に理解することは非常に難しい。

従来の協調フィルタリングのような推薦のアプローチではユーザーの履歴を追跡する必要があるが、このアプローチは匿名ユーザーには適用できない。 そこで、履歴をシーケンスとして扱うセッションベースの推薦タスクとして考えることができるが、このアプローチはexplicitなFBのみを使用し、暗黙的FBを扱うことは困難となっている。

目的

• オンラインニュースサービスにおいて、匿名ユーザーへの推薦精度の向上

アプローチ

• implicitFBを使用してセッションベース推薦
  • positive/negative/nutoralの暗黙的FBを使用
  • 時間情報を用いた表現を正負のFBとともに使用

memo

https://github.com/nogawanogawa/paper_memo/issues/72

[zerebom]

Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback

AAAI2020の論文

implicit feedbackを扱うMFでは、negative dataがユーザがアイテムに対して真に興味ないのではなく、単に未観測のためにnegativeである可能性があるので、positive dataに比べnegative dataの重みを減らすような損失関数や、適合度に閲覧回数に応じた信頼度をかける手法が用いられてきた。

ただ、このようにpositiveとnegativeの weightは決めるのは簡単ではない上に、精度に対して重要な影響を与える。過去にはユーザが各アイテムを閲覧する確率を推定した上で、自動でこの重みを計算するEXMFという手法があったが、閲覧確率の計算は 全ユーザ * 全アイテムに対して行わないといけないため非効率。

今回提案するFAWMFは、ユーザは各アイテムに対して自身と近いユーザと同程度の閲覧確率をもつだろうという仮定のもと、近いユーザのインタラクションから閲覧確率を計算する。

また、計算のキャッシュを効かせることで効率的に勾配降下するfBGDという学習ロジックも提案。

実装: https://github.com/jiawei-chen/FAWMF/blob/main/awmf.m