Open Wuuu3511 opened 1 year ago
你好,感谢你开源的优秀工作。 我对网络进行了消融实验,在去掉自注意力和交叉注意力后,dtu上网络的结果为0.313,似乎transformer的模块并没有带来很大的提升,这是否是合理的?
你好,感谢你开源的优秀工作。 我对网络进行了消融实验,在去掉自注意力和交叉注意力后,dtu上网络的结果为0.313,似乎transformer的模块并没有带来很大的提升,这是否是合理的?