search

talebolano / yolov3-network-slimming

yolov3 network slimming剪枝的一种实现
345 stars 93 forks source link

关于第一步稀疏化训练 #3

Open le8888e opened 5 years ago

le8888e commented 5 years ago

你好，请问你第一步稀疏化训练是直接在yolov3.weights的基础上finetune吗?这样稀疏化训练完后BN层的会有更多的y更接近0吗？因为我看原文都是从头开始训的，所以想问一下，谢谢

talebolano commented 5 years ago

并不会更接近0，但是我认为这是剪枝应该在实际工程应用中的用法，我目前在看https://arxiv.org/abs/1802.00124 这篇文章提出对bn层γ因子进行缩放，感觉是比较好的想法

le8888e commented 5 years ago

谢谢！我认为并不会更接近0是因为从yolov3.weights的基础上finetune,BN层的y不会跳出原来的最优解。如果对基网Darknet53在Imagenet上从头开始稀疏化训练，然后用这个Darknet53预训练模型来训yolov3，应该会有更多的y接近0.这样其实直接对原来的yolov3.weights进行剪枝就行了？并不需要第一步稀疏化的训练？

talebolano commented 5 years ago

直接剪枝会造成精度较大的损失（当然现在的剪枝也会造成很大的损失），而且在我的尝试中，直接剪枝会造成某些层被剪掉过多的channel，有时有route连接两个层时，会有一个层被直接剪掉