beeFormer: Bridging the Gap Between Semantic and Interaction Similarity in Recommender Systems, Vojtěch Vančura+, N/A, RecSys'24

[AkihikoWatanabe]

URL

• https://www.arxiv.org/abs/2409.10309

  Affiliations

  • Vojtěch Vančura, N/A
  • Pavel Kordík, N/A
  • Milan Straka, N/A

    Abstract

  • Recommender systems often use text-side information to improve their predictions, especially in cold-start or zero-shot recommendation scenarios, where traditional collaborative filtering approaches cannot be used. Many approaches to text-mining side information for recommender systems have been proposed over recent years, with sentence Transformers being the most prominent one. However, these models are trained to predict semantic similarity without utilizing interaction data with hidden patterns specific to recommender systems. In this paper, we propose beeFormer, a framework for training sentence Transformer models with interaction data. We demonstrate that our models trained with beeFormer can transfer knowledge between datasets while outperforming not only semantic similarity sentence Transformers but also traditional collaborative filtering methods. We also show that training on multiple datasets from different domains accumulates knowledge in a single model, unlocking the possibility of training universal, domain-agnostic sentence Transformer models to mine text representations for recommender systems. We release the source code, trained models, and additional details allowing replication of our experiments at https://github.com/recombee/beeformer.

    Translation (by gpt-4o-mini)

• レコメンダーシステムは、特にコールドスタートやゼロショット推薦シナリオにおいて、予測を改善するためにテキストサイドの情報を利用することが多い。これらのシナリオでは、従来の協調フィルタリングアプローチを使用することができない。近年、レコメンダーシステムのためのテキストマイニングサイド情報に関する多くのアプローチが提案されており、その中でも文のトランスフォーマーが最も注目されている。しかし、これらのモデルは、レコメンダーシステム特有の隠れたパターンを持つインタラクションデータを利用せずに、意味的類似性を予測するように訓練されている。本論文では、インタラクションデータを用いて文のトランスフォーマーモデルを訓練するためのフレームワークであるbeeFormerを提案する。私たちは、beeFormerで訓練されたモデルがデータセット間で知識を転送できることを示し、意味的類似性の文のトランスフォーマーだけでなく、従来の協調フィルタリング手法をも上回ることを示した。また、異なるドメインの複数のデータセットで訓練することで、単一のモデルに知識が蓄積され、レコメンダーシステムのためのテキスト表現をマイニングするための普遍的でドメインに依存しない文のトランスフォーマーモデルの訓練の可能性が開かれることを示した。私たちは、実験の再現を可能にするソースコード、訓練済みモデル、および追加の詳細を以下のリンクで公開している：https://github.com/recombee/beeformer。

  Summary (by gpt-4o-mini)

• レコメンダーシステムにおいて、コールドスタートやゼロショットシナリオでの予測改善のために、インタラクションデータを活用した文のトランスフォーマーモデル「beeFormer」を提案。beeFormerは、意味的類似性の予測において従来の手法を上回り、異なるドメインのデータセット間で知識を転送可能であることを示した。これにより、ドメインに依存しないテキスト表現のマイニングが可能になる。

[AkihikoWatanabe]

NLPでは言語という共通の体系があるから事前学習とかが成立するけど、RecSysのようなユーザとシステムのinteraction dataを用いたシステムでは（大抵の場合はデータセットごとにユニークなユーザIDとアイテムIDのログでデータが構成されるので）なかなかそういうことは難しいよね、と思っていた。が、もしRecSysのタスク設定で、データセット間の転移学習を実現できるのだとしたらどのように実現してきるのだろうか?興味深い。後で読む。