search

ShusenTang / Dive-into-DL-PyTorch

本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。
http://tangshusen.me/Dive-into-DL-PyTorch
Apache License 2.0
18.17k stars 5.38k forks source link

9.2 微调一节中的热狗识别学习率问题 #106

Closed alqbib closed 4 years ago

alqbib commented 4 years ago

原书中热狗识别学习率为0.01,考虑到mxnet里梯度递减里已经除了批次数(128),所以pytorch里应该为1e-4左右比较合适,经验证,如果学习率设的和原书mxnet里一样,则泛化误差很大,学习率为1e-4时,训练效果跟原书类似.