search

jasperzhong / read-papers-and-code

My paper/code reading notes in Chinese
43 stars 3 forks source link

WWW '21 | Heterogeneous Graph Neural Network via Attribute Completion #342

Closed jasperzhong closed 1 year ago

jasperzhong commented 1 year ago

https://yangliang.github.io/pdf/www21.pdf

jasperzhong commented 1 year ago

挺有意思的文章，解决了一个important问题. 异构图里面，很多node type是压根没有feature的. 比如IMDB数据集有movie, actor和director三种node types，但只有moive有node feature; DBLP数据集只有paper有node feature，而其他的author, venue, term都没有node feature. (比如MAG240M，只有paper有feature，其他node type比如author, institution都是没有feature的. 这都可以总结为一个系统challenge了.)

之前的方法，如MAGNN #340 和 HAN #328 会用one-hot编码来表示term和venues，对于author用其发表paper的node feature的平均值. 本文提出可以补全缺失的node feature，达到更好的效果.

image

大概方法分为两步:

  1. 先用metapath2vec #330 的方法仅用graph structure生成node embedding，然后用node embedding计算direct neighbor的attention score.
  2. 为缺失node feature的nodes，用计算的attention score aggregate邻居的node features.

为了避免过拟合，第二步会随机drop一些已知的node features，然后重新预测其node feature，并且计算其loss.

image

确实更强了.

jasperzhong commented 10 months ago

想了下，这个方法可以带参数，也可以不带参数，主要取决于怎么算attention score.

最简单，点乘就行. 复杂点也可以像GAT那样，给node embedding乘一个权重matrix.

如果带参数就需要算loss来优化.

其实我感觉不带参数更简洁一些，就是weighted aggregate. 比naive的mean aggregate更make sense，利用了topology信息.