预训练mengzi是可以按照预训练BERT的方式吗？

Langboat / Mengzi

Mengzi Pretrained Models

Apache License 2.0

534 stars 63 forks source link

Closed sherlcok314159 closed 3 years ago

Ag2S1 commented 3 years ago

没有太理解你的问题，是指基于现有模型继续训练么？

sherlcok314159 commented 3 years ago

不好意思，是我表述不清，是基于mengzi这个模型继续预训练

Ag2S1 commented 3 years ago

可以的，我们在结构上和 BERT 保持一致就是为了兼容用户现有的 BERT 代码