19-Arxiv-Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation

[wangqiangneu]

简介

评价multilingual NMT的encoder作为pre-trained的context vector exactor对下游任务的作用。multilingual NMT是用google zero-shot方法，只训练一个transformer-big，在102个语种上训练的。总数据集有20 billion，但是做了sampling，似乎并没有说最后到底用了多少训练的

• 数据采样

  • 不同语种数据量差异大，需要维持数据平衡
  • 使用temperature-based方法，T=5 (包括学vocabulary和training set)

• 有意思的结果

  • MNMT在204个方向上的BLEU值均值只比baseline（用双语数据独立训的模型，204个模型）低0.25，几乎差异不大
  • 提到了一个训练和finetune mismatch的问题：训练的时候会在源语的输入前加<To-Target-Lang>，但是finetune的时候，没有使用这个标签（因为finetune只涉及单语，没法填目标语的lang）；后来发现如果是without 这个特殊标签预训练，对下游任务的效果会更好

论文信息

• Author: Google
• Paper

总结

• 跟mBERT比，似乎不公平呀，大家的数据集很不能不太一样，对下游任务的影响不可知
• 怎么在加入更多语种的时候还能保持性能不掉那么多，还是值得研究的