Open gbchang94 opened 3 years ago
作者您好，我在阅读model.py文件的forward（）函数时，发现对象Model在实现论文中 ReLU(W ∑r +b) 公式时，使用的是以下顺序的代码：
act1 = self.activation(drop1) # ReLU l = self.Linear(act1) # Linear 这样的顺序，按照我的理解，应该是对 ∑r 进行了一次ReLU，再进行 W · ReLU( ∑r ) + b 的操作，与论文实际所描述的公式不符，但却得到了论文中实验结果所展示的准确率，而我调换这两行代码的顺序之后，准确率降到了80%左右，对此感到很疑惑，能否请您指点一下我的思考是不是存在什么漏洞，确实没想明白这个环节，感谢！
act1 = self.activation(drop1) # ReLU l = self.Linear(act1) # Linear 这样的顺序，按照我的理解，应该是对 ∑r 进行了一次ReLU，再进行 W · ReLU( ∑r ) + b 的操作，与论文实际所描述的公式不符，但却得到了论文中实验结果所展示的准确率，而我调换这两行代码的顺序之后，准确率降到了80%左右，对此感到很疑惑，能否请您指点一下我的思考是不是存在什么漏洞，确实没想明白这个环节，感谢！