wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
306 stars 2 forks source link

[2024/03/13]Machine Learning 輪講 #238

Open nogawanogawa opened 8 months ago

nogawanogawa commented 8 months ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/236

What

話したいことがある人はここにコメントしましょう! 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう!

chimuichimu commented 8 months ago

Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks

概要

Spotifyがオーディオブック推薦にGNNベースのモデルを使って、再生開始率などの指標を改善した

背景

事前分析で分かったこと

手法

全体像

2T-HGNN : Heterogeneous Graph Neural Network (HGNN) と Two tower (2T) を組み合わせたモデル。ざっくり言うとHGNNでアイテム(オーディオブックとPodcast)のembeddingを作っておいて、そのembeddingとユーザやアイテムのメタデータの情報からtwo-towerでユーザに対する推薦を作る、ということをやっている。

image

Co-listenings HGNN

ユーザの行動ログから、オーディオブックとPodcastという2種類のノードタイプを持つHeterogeneousなグラフを作成する。作成されたグラフにLLMで作成したアイテムのtitleとdescriptionのembeddingをノード特徴量として入れた上で、ノード間のリンクを復元するようにノードのembeddingを学習する。学習の結果のアウトプットとして、オーディオブックとPodcastのembeddingが得られる。

2T

HGNNで作成されたオーディオブックとPodcastのembeddingにユーザやアイテムのメタデータを加えたうえで、ユーザとオーディオブックのtwo-towerで学習・推論を行う。

結果

本番環境でのA/Bテストの結果、以下のようなビジネス指標の改善が確認された

Hayashi-Yudai commented 8 months ago

Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation

論文で解決したかった問題

推薦におけるcold start問題

どうやって解決したか

GNNの事前学習でcold start ユーザー/アイテムのembedding品質を上げるような学習を行い、それを推薦タスクの学習のベースとして利用した

詳細

以下のような3つのコンポーネントを使って事前学習を行っている

提案手法の優位性

hakubishin3 commented 8 months ago

文脈構造を利用した埋め込み表現学習の提案

言語処理学会 第30回年次大会 原田慎太朗さん(株式会社東芝 研究開発センター)

最適輸送を取り入れることで文脈構造を考慮した文ベクトル表現の獲得を行う手法の提案と評価を行っている論文 定量評価では、SimCSEやDiffCSEと比べて同等かそれ以上の性能を確認

nogawanogawa commented 8 months ago

LiGNN: Graph Neural Networks at LinkedIn

論文URL

https://arxiv.org/abs/2402.11139

著者

Fedor Borisyuk, Shihai He, Yunbo Ouyang, Morteza Ramezani, Peng Du, Xiaochen Hou, Chengming Jiang, Nitin Pasumarthy, Priya Bannur, Birjodh Tiwana, Ping Liu, Siddharth Dangi, Daqi Sun, Zhoutao Pei, Xiao Shi, Sirou Zhu, Qianqi Shen, Kuang-Hsuan Lee, David Stein, Baolei Li, Haichao Wei, Amol Ghoting, Souvik Ghosh

会議

KDD 2024 (予定)

背景

LinkedInには世界中の社会人・学生・企業・学校などがつながるネットワークを持っている。 これらのグラフは最大1000億のノードと数千億のエッジにもなります。

インタラクションには、求人応募、投稿に対するエンゲージメントなどが含まれます。

image

こうした巨大なグラフデータを用いて開発するには課題がある。

目的

大規模なグラフニューラルネットワークの実アプリケーション活用

アプローチ

image image image

memo

https://github.com/nogawanogawa/paper_memo/issues/107