Open Vzoooong opened 1 week ago
你好,我注意到您的代码中没有采用拼接的方式计算I2Correlation,而是采用相减的方式计算I2Correlation: new_x = new_x - ref_x # I2Correlation: residual input
# new_x = torch.cat([new_x, ref_x], dim=-1) # new_x = self.ffn_proj(new_x)
是因为拼接的效果不好吗?还是其他原因,希望能得到解答,谢谢,祝工作学习顺利。
你可以看一下论文3.5节中的描述,这里我们大致解释了采用相减方式的原因;当时,我实验了一下concatenation,我记得相减的效果是会好一些的,但我也记得不是很清楚了;你可以把下面的代码注释去掉,重训练一下,试一下拼接的效果。
你好,我注意到您的代码中没有采用拼接的方式计算I2Correlation,而是采用相减的方式计算I2Correlation: new_x = new_x - ref_x # I2Correlation: residual input
or concatenation input
是因为拼接的效果不好吗?还是其他原因,希望能得到解答,谢谢,祝工作学习顺利。