Open lshowway opened 4 years ago
提供下载的预训练模型压缩包中没有vocab.json和merge.txt,那么Roberta模型的tokenizer怎么加载?使用bert的tokenizer么?但是Roberta和bert的tokenizer不一样啊?
同问,似乎没办法使用pytorch版本的roberta tokenizer
@lshowway 请问这个问题你是怎么解决的?
@yysirs 加载bert模型而不是加载roberta模型就避免了。
提供下载的预训练模型压缩包中没有vocab.json和merge.txt,那么Roberta模型的tokenizer怎么加载?使用bert的tokenizer么?但是Roberta和bert的tokenizer不一样啊?