huawei-noah / Efficient-Computing

Efficient computing methods developed by Huawei Noah's Ark Lab
1.15k stars 200 forks source link

学生网络是否有加载预训练模型 #25

Closed Loitertwx closed 1 year ago

Loitertwx commented 2 years ago

你好,最近拜读了你的几篇关于知识蒸馏的论文,是很好的工作。 想请问一下你的两篇工作,CVPR2021 ‘Learning Student Networks in the Wild’和ICCV ‘Data-Free Learning of Student Networks’ 在训练学生网络的时候是否有用到ImageNet上的预训练模型呢 在原论文中没有看到相关的描述,也可能是我没注意到

HantingChen commented 2 years ago

你好,没有的,教师网络是训练好的,学生网络从头开始训练

Loitertwx commented 2 years ago

ok,非常感谢!你们的工作是很有意义的。