关于预训练的疑问

lipiji / SongNet

Code for ACL 2020 paper "Rigid Formats Controlled Text Generation"：https://www.aclweb.org/anthology/2020.acl-main.68/

MIT License

230 stars 40 forks source link

Closed 980202006 closed 4 years ago

980202006 commented 4 years ago

论文中提到，预训练按照bert来的。主要说到了完形填空任务，请问是否用到了下句预测

lipiji commented 4 years ago

@980202006 没有下句预测，也不完全像bert，是在auto-regressive的基础上同时预测mask

980202006 commented 4 years ago

好的，谢谢，请问何时能放出重构代码或者预训练模型

lipiji commented 4 years ago

@980202006 太忙耽误了，很快就放出来。