Closed XuanjiaZ closed 10 months ago
我好像已经找到了
Hi~您好.
EMA相关代码是由/Pretrain/models/pretrain_model.py
下line 76 MomentumUpdater
以及hook(Pretrain\Exploring\hook\EMA_hook.py
)一同完成的.
自蒸馏思想体现在EMA以及Loss的设计上.Loss可以参考/Pretrain/models/loss_utils.py
下的LocalLoss
.
Hi~您好. EMA相关代码是由
/Pretrain/models/pretrain_model.py
下line 76 MomentumUpdater
以及hook(Pretrain\Exploring\hook\EMA_hook.py
)一同完成的. 自蒸馏思想体现在EMA以及Loss的设计上.Loss可以参考/Pretrain/models/loss_utils.py
下的LocalLoss
.
感谢!,已经找到了
Closed as long periods of inactivity, feel free to reopen if there is any problem.
你好 请问结构中的自蒸馏是只使用了EMA实现的吗 EMA实现的代码在哪里呢