search

jasperzhong / read-papers-and-code

My paper/code reading notes in Chinese
43 stars 3 forks source link

WWW '20 | MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding #340

Closed jasperzhong closed 1 year ago

jasperzhong commented 1 year ago

https://arxiv.org/pdf/2002.01680.pdf

jasperzhong commented 1 year ago

之前的工作忽略了几个问题

  1. 没有考虑node feature (这说的基本是random walk only的方法，比如metapath2vec #330 , HERec #333 ）
  2. 对于一个metapath，之前的工作如HERec #333 和HAN #328 只保留了头尾两个node，而中间的nodes都丢弃了，造成了信息丢失

所以提出了Metapah Aggregated GNN(MAGNN). 基本都是attention. 分两步

  1. intra-matapath aggregation: 对于一个metapath instance，对路径上所有node embedding做一个self-attention，得到这个metapath instance的embedding. 有多个metapath instances，对这多个metapath embedding做一个self-attention，得到这个节点v在这个metapath上的node embedding.
  2. 跟HAN一样，就是不同metapath的node embedding再做一次self-attention，得到节点v最终的node embedding.

其实和HAN的区别就在于第一步: HAN只考虑metapath首尾的neighbor，直接用这些metapath-based neighbors的node embedding做一个self-attention得到节点v在这个metapath上的node embedding. MAGNN多了一步对metapath路上所有nodes的node embedding的aggregate而已，而不是只用最后一个.

最后效果在LASTFM link prediction上比GATNE #341 和HAN强很多.

image

如果某些node type没有node feature怎么办？文中好像没有提及. 但又提到LASTFM这个数据集没包括node feature.

看了代码，直接onehot. 6

https://github.com/cynricfu/MAGNN/blob/master/run_LastFM.py#L45