search

zhengli97 / CTKD

[AAAI 2023] Official PyTorch Code for "Curriculum Temperature for Knowledge Distillation"
https://zhengli97.github.io/CTKD/
Apache License 2.0
156 stars 12 forks source link

请问num_loops为什么设为10 #11

Closed omfkdby closed 11 months ago

omfkdby commented 11 months ago

您好，请问num_loops为什么设为10，以及10个epoch之后lambda的值就不变了吗，我看code是这样写的，若不变了是怎么加大课程的难度的呢？

zhengli97 commented 11 months ago
  1. 设置成10是因为发现10最后的训练效果更好。参考论文的table 6，里面对不同的课程难度和训练时间的设定做了大量实验，里面第一列第一行就是论文采用的课程设定。
  2. 是的，达到目标epoch后就一直保持不变啦。
  3. 加大课程的难度是在训练开始时就逐渐增大了，然后会一直保持固定的难度一直到训练结束。
zhengli97 commented 11 months ago

同学你好，上面的回复你明白了吗？ 如果没有问题的话，我就关闭这个issue了。如果还有问题，欢迎邮件联系我，或者继续在这个issue下面回复