search

zhusleep / pytorch_chinese_lm_pretrain

pytorch中文语言模型预训练
https://zhuanlan.zhihu.com/p/161301389
388 stars 78 forks source link

关于预训练数据集处理问题 #8

Open zbrnwpu opened 3 years ago

zbrnwpu commented 3 years ago

您好，您在预训练时输入数据集做全词掩码处理了么？如果做了处理的话，在您提供的代码中我没有找到呐？