Open yuhua666 opened 1 year ago
尊敬的博士,您好! 请问如果想实现教师助理策略进行蒸馏,A teach B,B teach C,我该怎么实现? 直接分两步蒸馏就可以完成吗,还是说要进行其他的处理?
b teach c的时候教师权重换成a teach b得到的权重文件,没有其他特殊的步骤了
尊敬的博士,您好! 请问如果想实现教师助理策略进行蒸馏,A teach B,B teach C,我该怎么实现? 直接分两步蒸馏就可以完成吗,还是说要进行其他的处理?