search

huawei-noah / Pretrained-Language-Model

Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab.
3.03k stars 627 forks source link

tinybert 在mnli任务不能复现 #229

Open iMountTai opened 1 year ago

iMountTai commented 1 year ago

代码可以在qnli、QQP、sst2任务上正确复现，但是在mnli任务上结果很差劲，第一步layers_distill的准确率为43.8，第二步一直是10%左右，不清楚别的同学有没有遇到该问题？

iMountTai commented 1 year ago

@gowtham1997 期待您的回复，谢谢~

programmingLearner commented 1 year ago

我也遇到了同样的问题。请问您的问题后来解决了吗？我现在怀疑是三个label的顺序teacher和student对应不上

programmingLearner commented 1 year ago

我猜可能需要修改原代码第178行，三个 label 的顺序。["contradiction", "entailment", "neutral"] 改为 ['entailment', 'neutral', 'contradiction']。参考 https://github.com/huggingface/transformers/issues/12822 因为如果你的 BERT base Teacher 是按照第二个训练的，但 Student evaluation 却用第一个，就会对齐不上。

programmingLearner commented 1 year ago

改了那一行，现在 dev set 准确率可以轻松超过83%甚至更高了。应该就是这个问题。不过还需要改一下这个，这个代码现在 mismatched 覆盖了 matched 的输出结果：https://github.com/huawei-noah/Pretrained-Language-Model/issues/115