Open le8888e opened 5 years ago
并不会更接近0,但是我认为这是剪枝应该在实际工程应用中的用法,我目前在看https://arxiv.org/abs/1802.00124 这篇文章提出对bn层γ因子进行缩放,感觉是比较好的想法
谢谢!我认为并不会更接近0是因为从yolov3.weights的基础上finetune,BN层的y不会跳出原来的最优解。如果对基网Darknet53在Imagenet上从头开始稀疏化训练,然后用这个Darknet53预训练模型来训yolov3,应该会有更多的y接近0.这样其实直接对原来的yolov3.weights进行剪枝就行了?并不需要第一步稀疏化的训练?
直接剪枝会造成精度较大的损失(当然现在的剪枝也会造成很大的损失),而且在我的尝试中,直接剪枝会造成某些层被剪掉过多的channel,有时有route连接两个层时,会有一个层被直接剪掉
你好,请问你第一步稀疏化训练是直接在yolov3.weights的基础上finetune吗?这样稀疏化训练完后BN层的会有更多的y更接近0吗?因为我看原文都是从头开始训的,所以想问一下,谢谢