autoliuweijie / FastBERT

The score code of FastBERT (ACL2020)
https://www.aclweb.org/anthology/2020.acl-main.537/
604 stars 90 forks source link

如何确定distill阶段的early stopping #26

Open yangshao opened 4 years ago

yangshao commented 4 years ago

现在distill阶段使用的是固定的speed和epochs, 而且没有做early stopping. 对于不同的数据集, 如何确定这些超参数,已经如何选取最终的模型?