关于使用其他预训练模型

taishan1994 / pytorch_bert_multi_classification

基于pytorch_bert的中文多标签分类

79 stars 14 forks source link

关于使用其他预训练模型 #9

Open LLLiHaotian opened 10 months ago

LLLiHaotian commented 10 months ago

请问，在用bert-base-case、chinese-bert-wwm-ext、chinese-roberta-wwm-ext、chinese-roberta-wwm-ext-large这几个预训练模型跑多标签分类实验的时候都没问题，为什么使用roberta-xlarge-wwm-chinese-cluecorpussmall这个预训练模型跑多标签分类实验，在训练过程中一直 accuracy：0.0000 micro_f1：0.0000 macro_f1：0.0000

为什么会出现这种现象？求解答

taishan1994 commented 10 months ago

roberta-xlarge-wwm-chinese-cluecorpussmal 可能要修改transformers加载该模型的方式