Closed mengchengTang closed 7 months ago
作者您好,最近在复现这篇经典的文章中,有一点疑问,在下面这行代码中: https://github.com/jieyibi/AMDKD/blob/8f51cabf7618b7abe37caf42fd5d2d44074ef384/AMDKD-AM/knowledge_distillation.py#L171 如果是采用AMDKD框架进行训练时,传入的distribution变量是不是应该是采样得到的class_type,而不是预先设定的opts.data_distribution? 期待回复,谢谢!
您好,Mengcheng。
是的,生成训练集之前少了一行opts.data_distribution=class_type。可能是我当时删除注释时不小心删掉了,代码已经更新了,谢谢您的提醒。之后我会重新再跑一遍AMDKD-AM,并上传其预训练模型参数。AMDKD-POMO版本不存在这个问题,您可以优先参考AMDKD-POMO,效果也比较好。
谢谢!
好的,谢谢回答!
作者您好,最近在复现这篇经典的文章中,有一点疑问,在下面这行代码中: https://github.com/jieyibi/AMDKD/blob/8f51cabf7618b7abe37caf42fd5d2d44074ef384/AMDKD-AM/knowledge_distillation.py#L171 如果是采用AMDKD框架进行训练时,传入的distribution变量是不是应该是采样得到的class_type,而不是预先设定的opts.data_distribution? 期待回复,谢谢!