Closed junkangwu closed 3 years ago
您好,请问计算attention时, powers = -self.leakyrelu(all_message.mm(att_weight).squeeze()) 激活函数前为什么有一个负号呢?如何理解呀?不加会对实验效果有影响吗? 感谢!
powers = -self.leakyrelu(all_message.mm(att_weight).squeeze())
您好,-是为了减小由softmax函数可能带来的不稳定性,如果去掉的话应该也可以正常工作。 这一符号初始是在GAT的pytorch实现的Sparse版本中使用,在KGAT模型中同样是使用了相同的实现。
-
好的,感谢及时回答!
您好,请问计算attention时,
powers = -self.leakyrelu(all_message.mm(att_weight).squeeze())
激活函数前为什么有一个负号呢?如何理解呀?不加会对实验效果有影响吗? 感谢!