21-EMNLP-Learning to Rewrite for Non-Autoregressive Neural Machine Translation

[wangqiangneu]

论文信息

• Author: HIT
• Paper

简介

切入点是CMLM迭代时判断哪些词应该mask的方式太启发式，换了个分类器。另外，训练的时候考虑了不同迭代条件下产生的序列。其他就没啥了。我觉得就是一个简化版的LevT

吐槽

• 训练时的M是多少貌似一直没咋提，先无脑更新30w * M次
• 不提distillation用的teacher的性能

收获

• share weight大概下降0.3
• 看不同词性需要迭代的比例有点意思

总结

• 没觉得比LevT优雅
• 对我没有太多启发