代码疑惑 - Githubissues

liuxiyang641 / RAGAT

RAGAT: Relation Aware Graph Attention Network for Knowledge Graph Completion

56 stars 16 forks source link

Closed junkangwu closed 3 years ago

junkangwu commented 3 years ago

您好，请问计算attention时， powers = -self.leakyrelu(all_message.mm(att_weight).squeeze()) 激活函数前为什么有一个负号呢？如何理解呀？不加会对实验效果有影响吗？感谢！

liuxiyang641 commented 3 years ago

您好，-是为了减小由softmax函数可能带来的不稳定性，如果去掉的话应该也可以正常工作。这一符号初始是在GAT的pytorch实现的Sparse版本中使用，在KGAT模型中同样是使用了相同的实现。

junkangwu commented 3 years ago

好的，感谢及时回答！