search

Eric-mingjie / network-slimming

Network Slimming (Pytorch) (ICCV 2017)
MIT License
907 stars 214 forks source link

channel_selection layer intraining process #77

Open wendychina opened 2 years ago

wendychina commented 2 years ago

在进行DenseNet剪枝之后，需要继续训练进行finetune，我注意到channel层的index参数是默认配置为nn.Parameter,这种配置默认需要进行训练。在我的理解中，channel_selection层应该是不需要进行训练的，比较迷惑，请问是代码有问题还是我的理解有问题

Eric-mingjie commented 2 years ago

channel_selection 虽然为nn.Parameter,但是训练过程中不会update,因为这个parameter只是作为feature map tensor 的index来使用的，所以backpropogation的时候不会有gradient。

JudasDie commented 2 years ago

channel_selection 虽然为nn.Parameter,但是训练过程中不会update,因为这个parameter只是作为feature map tensor 的index来使用的，所以backpropogation的时候不会有gradient。

请问有没有遇到过channel selection layer加上去后训练速度变慢问题 （不是imagenet训练，是训练其他结构）