search

tanluren / yolov3-channel-and-layer-pruning

yolov3 yolov4 channel and layer pruning, Knowledge Distillation 层剪枝，通道剪枝，知识蒸馏
Apache License 2.0
1.5k stars 446 forks source link

关于warm up #64

Open CheungBH opened 4 years ago

CheungBH commented 4 years ago

你好，我想问一下在稀疏训练里，前面有一段warm up是不加稀疏，解释是前面几个epoch剧烈收敛，加s会影响性能。那么这个剧烈收敛会影响性能是怎么看出来的呢？如果我要训练其他网络的稀疏，我该怎么去判断需不需要warm up，时间该多长呢？可以通过什么指标进行大致推断么

zbyuan commented 4 years ago

这个warm up我们是借鉴了其他论文的思想 这是一种学习率设置方式 ，你可以按照U版本进行更新下 对比下 这个你可以根据你自己的数据来进行设置