nogawanogawa / paper_memo

4 stars 0 forks source link

LiGNN: Graph Neural Networks at LinkedIn #107

Closed nogawanogawa closed 8 months ago

nogawanogawa commented 9 months ago

論文URL

https://arxiv.org/abs/2402.11139

著者

Fedor Borisyuk, Shihai He, Yunbo Ouyang, Morteza Ramezani, Peng Du, Xiaochen Hou, Chengming Jiang, Nitin Pasumarthy, Priya Bannur, Birjodh Tiwana, Ping Liu, Siddharth Dangi, Daqi Sun, Zhoutao Pei, Xiao Shi, Sirou Zhu, Qianqi Shen, Kuang-Hsuan Lee, David Stein, Baolei Li, Haichao Wei, Amol Ghoting, Souvik Ghosh

会議

KDD 2024 (予定)

背景

LinkedInには世界中の社会人・学生・企業・学校などがつながるネットワークを持っている。 これらのグラフは最大1000億のノードと数千億のエッジにもなります。

インタラクションには、求人応募、投稿に対するエンゲージメントなどが含まれます。

image

こうした巨大なグラフデータを用いて開発するには課題がある。

目的

大規模なグラフニューラルネットワークの実アプリケーション活用

アプローチ

image image image

ひとことメモ

nogawanogawa commented 8 months ago

背景

LinkedInには世界中の社会人・学生・企業・学校などがつながるネットワークを持っている。 これらのグラフは最大1000億のノードと数千億のエッジにもなります。

インタラクションには、求人応募、投稿に対するエンゲージメントなどが含まれます。

image

こうした巨大なグラフデータを用いて開発するには課題がある。

nogawanogawa commented 8 months ago

目的

大規模なグラフニューラルネットワークの実アプリケーション活用

アプローチ

nogawanogawa commented 8 months ago

LinkedInのグラフ

構造

エッジは大きく3種類

グラフエンジン

image

GNN architecture

image

時間的グラフ

image

人工エッジ

LiGNNは補助的な情報に基づいて人工的なエッジを追加することでグラフの高密度化を実装している。

エッジの少ないノードについて、エッジの多いノードについて近傍N件について人工のエッジを生成する。こうすることでコールドスタートにも対応する。

サンプリング

nogawanogawa commented 8 months ago

学習

グラフの学習の際に、サンプリング・HDFSからのデータ取得が必要になり、ネットワークの負荷が増大する。そのための工夫をした。(そもそもそこそこの確率で学習が失敗していた?)

高速化

nogawanogawa commented 8 months ago

実験

投稿推薦

投稿に対するエンゲージメントのリンク予測タスク。

image

オフラインで9.6%の改善、オンラインでも0.5%の改善らしい

ネットワーク外の投稿推薦

DAUが0.2%増加したらしい。

求人推薦

つながり推薦

image

あんまりちゃんと書いてないけど、良くなったらしい

広告

image

これもあんまり書いてないけど良くなったらしい