20-ACL-Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation

[wangqiangneu]

简介

把MNMT跟MASS结合一起了，在NMNT中引入单语数据（用MASS的方式）。方法很简单，双语数据用over-sampling缓解low-resource的数据不平衡（tempearture=5）。而单语数据则是所有语种uniform sampling，理由是单语数据分布并不过分倾斜于某些语种。而parallel data和monolingual data with self-supervision则是各占50%进行混合的

有意思的点

• 一般的MNMT在high-resource上会比individual training的低2个点左右，加monolingual data会有提升（不过这么比公平吗？bilingually trained的模型加单语会有提高不是？）
• 这种方法可以直接灌一个新语种的单语数据，从而实现对这个新增单语的翻译能力（这个很屌啊）

论文信息

• Author: Google
• Paper

总结

• 感觉没啥大意思，累更多的数据就是会有帮助。。
• 最有意思的是如何快速增加一个新的语种翻译能力