jasperzhong
commented
1 year ago GCNII (aka, GCN2). 为了缓解oversmoothing问题，主要用了两个tricks
- initial residual connection: 每一层的node embedding加上一个最初的node feature
- identity mapping: 每一层的权重加上一个identity map (类似于ResNet)
最后长这样.
\alpha一般0.1, 0.2, \beta = log(\lambda / layer), \lambda一般是0.5或者1.5.
实验效果挺不错，比GAT还强. 不过注意这个结果是经过调参的(\alpha, \beta).
最后ablation实验发现主要是initial residual connection可以避免oversmoothing. 这个发现挺重要的. very interesting. 这个trick挺好.
https://arxiv.org/pdf/2007.02133.pdf