Closed 980202006 closed 4 years ago
论文中提到,预训练按照bert来的。主要说到了完形填空任务,请问是否用到了下句预测
@980202006 没有下句预测,也不完全像bert,是在auto-regressive的基础上同时预测mask
好的,谢谢,请问何时能放出重构代码或者预训练模型
@980202006 太忙耽误了,很快就放出来。
论文中提到,预训练按照bert来的。主要说到了完形填空任务,请问是否用到了下句预测