Closed yayaQAQ closed 5 years ago
使用的是transformers的BertTokenizer,BertForMaskedLM加载的roberta-large模型，结果是乱码，使用roberta-base模型没有出现问题。 roberta-large: roberta-base: 还尝试了科大讯飞的roberta-large模型，同样是乱码。 估计是模型结构的问题，也有可能是我加载大模型的方式不正确。 该如何让大模型也拥有mlm的能力呢？
yayaQAQ
commented
5 years ago yayaQAQ
commented
5 years ago
使用的是transformers的BertTokenizer,BertForMaskedLM加载的roberta-large模型，结果是乱码，使用roberta-base模型没有出现问题。 roberta-large:
roberta-base:
还尝试了科大讯飞的roberta-large模型，同样是乱码。
估计是模型结构的问题，也有可能是我加载大模型的方式不正确。
该如何让大模型也拥有mlm的能力呢？