brightmart / roberta_zh

RoBERTa中文预训练模型: RoBERTa for Chinese
2.63k stars 409 forks source link

没有merge.txt和vocab.json #68

Open lshowway opened 4 years ago

lshowway commented 4 years ago

提供下载的预训练模型压缩包中没有vocab.json和merge.txt,那么Roberta模型的tokenizer怎么加载?使用bert的tokenizer么?但是Roberta和bert的tokenizer不一样啊?

qhd1996 commented 4 years ago

同问,似乎没办法使用pytorch版本的roberta tokenizer

yysirs commented 3 years ago

@lshowway 请问这个问题你是怎么解决的?

lshowway commented 3 years ago

@yysirs 加载bert模型而不是加载roberta模型就避免了。