Open LiuChiachi opened 2 years ago
您好 https://github.com/dbiir/UER-py/wiki/Competition-solutions 这里给出了在CLUE上训练的细节,包括tnews, iflytek, ocnli数据集
https://github.com/dbiir/UER-py/wiki/Modelzoo#chinese-roberta-pre-trained-weights 这里给出了复现表格中Roberta-tiny的细节
使用run_text2text.py微调应该加载T5、BART等seq2seq模型
您好!
感谢你们的工作~我想请教下是否可以提供下复现表格中tnews, iflytek, ocnli指标的代码呢。 我阅读了文档似乎只有run_text2text.py可以用来跑tnews数据集(虽需要下载一个对官方tnews做处理之后的数据集),并且我对run_text2text.py在超参{epochs: 3, 5, 8, batch sizes: 32, 64, learning rates: 3e-5, 1e-4, 3e-4}下跑也不能复现表格中的效果,比如2l-128d的模型只有57.几,复现不出表格中Roberta-tiny的 62.0,请问可以提供下可以直接跑就能跑出表格精度的脚本吗,十分感谢!
感谢期待您的回复~ 再次感谢!