search

zyang-16 / STAM

Source code and dataset for WWW'22 paper "STAM: A Spatiotemporal Aggregation Method for Graph Neural Network-based Recommendation"
37 stars 8 forks source link

W_Q, W_K, W_V的更新问题 #4

Open Daftstone opened 2 years ago

Daftstone commented 2 years ago

在模型训练时，model.stam_weights是通过run出来然后feedback到A_new中，这意味着训练时的W_Q, W_K, W_V不会被更新。我有将W_Q, W_K, W_V打印出来，确实它们在训练过程中没有任何变化，如下截图所示（W_Q的平均值和中位数）。请问这些参数本来是不需要更新的还是代码问题？

屏幕截图 2022-06-27 202417
zyang-16 commented 2 years ago

你能留一下联系方式吗？我今天配置一下环境，看一下代码。抱歉抱歉！

Daftstone commented 2 years ago

chenxiaolong0502@163.com，谢谢

jhljx commented 1 year ago

看上去STAM邻接矩阵那块确实有点bug，梯度回传不过去，无法更新到attention weight的几个矩阵。STAM本质上还是基于GAT，印象中有几版GAT还得手动实现自定义梯度回传。

zyang-16 commented 1 year ago

Hi，之前和xiaolong探讨过这个问题，我近期会update一个fix bug版本上来，但是估计得到中旬了，因为最近一直在忙一些其他事情。方便留个邮箱吗？便于后续交流？

jhljx commented 1 year ago

jhljx@buaa.edu.cn

jhljx commented 1 year ago

STAM这篇文章梯度无法回传问题影响倒不太严重，感觉参考GAT的有些实现改一下应该就能work。最离谱的是这篇Sequential Recommendation with Graph Neural Networks，看了代码实现，graph部分梯度无法回传的问题更大，纯属编故事了