KDD '21 | Are we really making much progress? Revisiting, benchmarking, and refining heterogeneous graph neural networks

[jasperzhong]

https://arxiv.org/pdf/2112.14936.pdf

[jasperzhong]

看了这篇paper，对AI圈真的是😅😅😅

专业打假之前SOTA，发现GAT就能超过之前很多papers的models.

首先打假了 HAN #328 GTN, RSHN, HetGNN #338 , MAGNN #340 ，发现他们代码都有问题，要么用一个sampled graph而不是完整的graph(故意?)让GAT更差，要么就是连基本的ML知识都匮乏，val都不分，或者有data leakage问题.

原形毕露后:

然后他们做了一个benchmark，有11个数据集

最后提出了SimpleHGN，在GAT的基础上改进.

1. 有一个edge-type embedding，和node embedding拼接起来来计算attention weight.

2. residual connection. 除了node embedding可以residual，还做了attention weight的residual，这个第一次见.

3. l2 normalization对output embedding.

除了第一个，后面两个说实话有点tricky.

实验: 从结果上看. HGT #336 是之前工作里面效果最好的，GAT也算一个很强的baseline. SimpleHGN则成了新的SOTA.

文末的一些讨论也很有趣:

1. 显式的type information有用吗？因为从实验来看，利用到这些信息的方法似乎只能带来不多的提升. GAT就已经很强了. 这个问题暂时没有答案.
2. metapath有用吗？从结果来看，metapath-based methods并没有产生比GAT更好的结果. 这个问题也没答案.

[jasperzhong]

这个sampling method跟普通的GAT甚至是一模一样.

[jasperzhong]

不过我觉得，HAN之所以只考一个node type的，可能是因为其他node type没有feature.