Closed sunjieemm closed 1 year ago
https://github.com/thuiar/MMSA/blob/36b03b85a4e9b88138f70343e4ef48964e1f5720/src/MMSA/trains/singleTask/MULT.py#L59 您好,我在检查MulT模型时,发现我在Loss.backward()时遇到错误,错误显示梯度被原地修改,错误最终指向transformer.py https://github.com/thuiar/MMSA/blob/36b03b85a4e9b88138f70343e4ef48964e1f5720/src/MMSA/models/subNets/transformers_encoder/transformer.py#L89, 即x=layer(x), 我的torch版本是1.7(之前也尝试过1.10),我找到最终原因是torch版本不对https://github.com/pytorch/pytorch/issues/39141。但是30系显卡又没有合适的torch版本(torch1.4以下)。因此我很疑惑,你们是否有遇到这个问题?如果有,又有什么好的办法解决?
即x=layer(x)
/wulian/,MMSA里的transformers_encoder没问题,若从其他仓库里的搬的可能注意下multihead_attention.py里的q=self.scaling改为q = q self.scaling
https://github.com/thuiar/MMSA/blob/36b03b85a4e9b88138f70343e4ef48964e1f5720/src/MMSA/trains/singleTask/MULT.py#L59 您好,我在检查MulT模型时,发现我在Loss.backward()时遇到错误,错误显示梯度被原地修改,错误最终指向transformer.py https://github.com/thuiar/MMSA/blob/36b03b85a4e9b88138f70343e4ef48964e1f5720/src/MMSA/models/subNets/transformers_encoder/transformer.py#L89,
即x=layer(x)
, 我的torch版本是1.7(之前也尝试过1.10),我找到最终原因是torch版本不对https://github.com/pytorch/pytorch/issues/39141。但是30系显卡又没有合适的torch版本(torch1.4以下)。因此我很疑惑,你们是否有遇到这个问题?如果有,又有什么好的办法解决?