search

ymcui / Chinese-BERT-wwm

Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）
https://ieeexplore.ieee.org/document/9599397
Apache License 2.0
9.57k stars 1.38k forks source link

RoBERTa模型加载 #119

Closed L54798516 closed 4 years ago

L54798516 commented 4 years ago

您好，RoBERTa-wwm-ext, Chinese模型也是用BertModel.from_pretrained加载吗？是不是Huggingface-Transformers上用bert模型和RoBERTa模型的代码是一样的，我在BertModel.from_pretrained载入RoBERTa-wwm-ext, Chinese模型就相当于用的是RoBERTa模型了吗？很不理解，希望得到您的解答。

ymcui commented 4 years ago

是因为本目录中的RoBERTa是BERT去掉了NSP任务所得，严格意义上还是BERT模型。所以请使用BERT相关的加载手段。

L54798516 commented 4 years ago

是因为本目录中的RoBERTa是BERT去掉了NSP任务所得，严格意义上还是BERT模型。所以请使用BERT相关的加载手段。

去掉了NSP，是不是意味着不需要在文本开头加CLS了

ymcui commented 4 years ago

预训练的时候[CLS]位是保留的，你可以在下游任务中对比去掉和不去掉的效果。

L54798516 commented 4 years ago

预训练的时候[CLS]位是保留的，你可以在下游任务中对比去掉和不去掉的效果。

谢谢您的解答