模型预训练语料选择

SCHENLIU / longformer-chinese

chinese version of longformer

110 stars 15 forks source link

Closed sheng-qiang closed 3 years ago

sheng-qiang commented 3 years ago

作者你好，想请问一下，该中文longformer预训练模型使用的语料都有哪些？

yww211 commented 3 years ago

longformer

同问，我在自己的任务上finetune的效果感觉一般，所以作者用了哪些中文语料库来预训练？

SCHENLIU commented 3 years ago

@yww211 用的新闻数据，4张P40跑了24小时，你是什么任务上finetune的，问答这些可能不太好

yww211 commented 3 years ago

用的新闻数据，4张P40跑了24小时，你是什么任务上finetune的，问答这些可能不太好

好的，我也是在长文本分类上用的