OpenBMB / CPM-Bee

百亿参数的中英文双语基座大模型
2.69k stars 214 forks source link

请问内置的预训练任务是什么? #89

Open qq240035000 opened 1 year ago

qq240035000 commented 1 year ago

谢谢大佬们的工作,麻烦问一下内置的预训练任务是什么,是预测单词,判断是否是原本的单词等这些常见的自监督任务吗?有没有介绍相关文档啊,我想用一些没有打标的文本去做预训练。。