huawei-noah / VanillaNet

MIT License
813 stars 57 forks source link

训练过程可能需要改良 #31

Closed ohmydroid closed 1 year ago

ohmydroid commented 1 year ago

模型训练有两个阶段,前100 epoch结束,deep training strategy 的激活函数会变成线性。后200epoch,两个线性卷积应该融合成一个卷积层进行优化,而不是在最后部署的时候才融合两个卷积。否则可能会面临精度下降的问题。

HantingChen commented 1 year ago

谢谢你的建议!我们将会在未来版本中考虑进行实验验证。