search

Langboat / Mengzi

Mengzi Pretrained Models
Apache License 2.0
534 stars 63 forks source link

没找到官方的预训练脚本，只用MLM做继续预训练效果如何？ #50

Open ShadowTeamCN opened 1 year ago

ShadowTeamCN commented 1 year ago

缺少其他的预训练任务感觉会破坏模型效果

Ag2S1 commented 1 year ago

如果你做领域适应的话应该会有效果，前提是数据质量足够好