19-EMNLP-Hint-Based Training for Non-Autoregressive Machine Translation

[wangqiangneu]

简介

做non-autoregressive translation的。基本想法是，把ART(Auto Regressive Translation)作为teacher去教NART的student。虽然distillation data已经包含ART教NART了。具体来说，主要从两方面学：hidden state和attention。这两个点角度倒是很普通了，是常规做法。属于single-stage的方法，速度快，最后需要ART模型rescore一下

• 有意思的点
  • 学hidden state的时候不是直接去regressive，而是学不同词之间的cosine similarity。作者的观点是：第一，直接regressive很难，因为student和teacher是两个不同的网络，差异比较大；第二是说，因为NART的主要问题之一是repeated word，就是因为词和词之间的hidden state很相似，那作者希望，如果ART某两个词相似度小，而NART这两个词相似度却很高（很有可能是重复词），就要进行惩罚
  • 在NART推断时，需要提前设置target的长度。以前的做法是在encoder上增加一个length predictor，相对麻烦一些。文章里用的是$L_t=L_s + C$，直接通过源语长度L_s和一个预先统计值C就确定了译文长度L_t。如果是beam>1的话，再以L_t为中心，作为扩一下

论文信息

• Author: MSRA
• Paper
• Code

总结

• 方法很简单，但这种single-stage的方法，我觉得是不靠谱的，性能差太多
• NART再怎么从ART上学，还是会离ART有比较大的差距