Closed sheng-qiang closed 3 years ago
作者你好,想请问一下,该中文longformer预训练模型使用的语料都有哪些?
longformer
同问,我在自己的任务上finetune的效果感觉一般,所以作者用了哪些中文语料库来预训练?
@yww211 用的新闻数据,4张P40跑了24小时,你是什么任务上finetune的,问答这些可能不太好
用的新闻数据,4张P40跑了24小时,你是什么任务上finetune的,问答这些可能不太好
好的,我也是在长文本分类上用的
作者你好,想请问一下,该中文longformer预训练模型使用的语料都有哪些?