Langboat / Mengzi

Mengzi Pretrained Models
Apache License 2.0
534 stars 63 forks source link

没找到官方的预训练脚本,只用MLM做继续预训练效果如何? #50

Open ShadowTeamCN opened 1 year ago

ShadowTeamCN commented 1 year ago

缺少其他的预训练任务感觉会破坏模型效果

Ag2S1 commented 1 year ago

如果你做领域适应的话应该会有效果,前提是数据质量足够好