Open wangqiangneu opened 3 years ago
切入点是CMLM迭代时判断哪些词应该mask的方式太启发式,换了个分类器。另外,训练的时候考虑了不同迭代条件下产生的序列。其他就没啥了。我觉得就是一个简化版的LevT
论文信息
简介
切入点是CMLM迭代时判断哪些词应该mask的方式太启发式,换了个分类器。另外,训练的时候考虑了不同迭代条件下产生的序列。其他就没啥了。我觉得就是一个简化版的LevT
吐槽
收获
总结