search

ZhuiyiTechnology / roformer-sim

SimBERT升级版（SimBERTv2）！
Apache License 2.0
439 stars 73 forks source link

使用supervised.py代码微调simbertV2时，每次跑出来的成绩相差巨大 #22

Open JeremySun1224 opened 2 years ago

JeremySun1224 commented 2 years ago

我在使用supervised.py代码(https://raw.githubusercontent.com/ZhuiyiTechnology... 微调chinese_roformer-sim-char-ft_L-12_H-768_A-12时，每次跑出来的成绩相差巨大，有时候accuracy能有0.9，有时候0.1都不到，请问您知道是什么原因吗？（数据集是蚂蚁金服的文本匹配数据https://www.kaggle.com/zephyrwang666/afqmc-public） 请老师指点🙏

效果好的 效果差的
bojone commented 2 years ago

因为sentence-bert就不是微调的好方法，最好用笔者后面提出的CoSENT吧。

https://kexue.fm/archives/8847