search

thuiar / MMSA

MMSA is a unified framework for Multimodal Sentiment Analysis.
MIT License
634 stars 104 forks source link

runtime error #67

Closed sunjieemm closed 1 year ago

sunjieemm commented 1 year ago

https://github.com/thuiar/MMSA/blob/36b03b85a4e9b88138f70343e4ef48964e1f5720/src/MMSA/trains/singleTask/MULT.py#L59 您好，我在检查MulT模型时，发现我在Loss.backward()时遇到错误，错误显示梯度被原地修改，错误最终指向transformer.py https://github.com/thuiar/MMSA/blob/36b03b85a4e9b88138f70343e4ef48964e1f5720/src/MMSA/models/subNets/transformers_encoder/transformer.py#L89, 即x=layer(x), 我的torch版本是1.7(之前也尝试过1.10)，我找到最终原因是torch版本不对https://github.com/pytorch/pytorch/issues/39141。但是30系显卡又没有合适的torch版本（torch1.4以下）。因此我很疑惑，你们是否有遇到这个问题？如果有，又有什么好的办法解决？

sunjieemm commented 1 year ago

/wulian/，MMSA里的transformers_encoder没问题，若从其他仓库里的搬的可能注意下multihead_attention.py里的q=self.scaling改为q = q self.scaling