zhengli97 / CTKD

[AAAI 2023] Official PyTorch Code for "Curriculum Temperature for Knowledge Distillation"
https://zhengli97.github.io/CTKD/
Apache License 2.0
156 stars 12 forks source link

DALI error #6

Closed Luadoo closed 1 year ago

Luadoo commented 1 year ago

image

大佬,我这刚刚复现就出现这个错误,我对比看了下student和teacher有个什么duplicate,但是我找了半天没发现什么对方错了,请帮我回答下,多谢!

zhengli97 commented 1 year ago

没有dali就把跟这些相关的code注释掉就行了 不影响最终结果

Luadoo commented 1 year ago

您能不能具体说下注释掉哪一块,我是把相关联的有dali那段都注释了,但是还是报错了;就是你的代码跟SimKD很多相似的,好像部分工作是源自那里,可是我看SimKD很简单直接就能复现出来,也用了dali呢

zhengli97 commented 1 year ago
  1. 注释掉dali之后有bug请报告bug情况
  2. 我没装dali 所以code都删了 部分源代码确实源于SimKD
zhengli97 commented 1 year ago

刚才把dali在train_teacher.py里面删掉了 你可以重新clone一下code试试看

Luadoo commented 1 year ago

您好,我试了下用 sh scripts/run_cifar_vanilla.sh 就出现这个报错:

image

然后我开始单独从scratch训练教师模型又报错: image

Luadoo commented 1 year ago

image 然后少这个数据库我也pip install imgaug后好像就跟上次一样,一直跟你那个imagenet.py文件有关联似的,上次一开始也这样,我没搞明白我训练cifar100为啥非跳到Imagenet上去

zhengli97 commented 1 year ago
  1. train_teacher.py里面确实有bug。你可以直接用我给的pre-trained teacher来训。我改一下这个bug。当时在服务器端写code跑实验验证的时候开源忘记改回来了。这个'feat_drop_ratio'确实是我没注意到。
  2. 你先用提供的pre-trained来做验证吧
zhengli97 commented 1 year ago

已经fix了train_teacher.py里面的bug

Luadoo commented 1 year ago

这样啊,我有个想法就是我把SimKD的CIFAR100上的教师模式全自己训练出来了,我直接放到CTKD teacher该存储的位置下能不能就算用上,我感觉都一样,因为我在国外来着,百度云没有手机验证没法登陆,或者你可以加我GITHUB主页有我的微信加下细说,大佬方便的话!

zhengli97 commented 1 year ago

train_teacher.py跟simKD里面的code是一样的 训出来的weight和py文件对得上能load进来就行

Luadoo commented 1 year ago

好的,我在试试,有问题回头再请教老哥!

zhengli97 commented 1 year ago

你可以留个邮箱 我把pretrained model发给你

Luadoo commented 1 year ago

jiexu2017action@gmail.com 感谢!

Luadoo commented 1 year ago

老兄,working了已经!后续有问题还请多多指教!

zhengli97 commented 1 year ago

jiexu2017action@gmail.com 感谢!

有预训练模型的邮件已经发过去了。注意查收。

老兄,working了已经!后续有问题还请多多指教!

ok 后面有问题欢迎邮件或者提issue。如果觉得repo有帮助 还请麻烦点个star支持一下哈哈~