19-EMNLP-Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings

[wangqiangneu]

简介

做domain adaptation，强调是unsupervised是因为假定没有in-domian的bitext，所以没法简单地进行continue training。也就是说，条件是只有out-domain的bitext，以及in-domain的monolingual data。做法就很简单了，就是一个multi-task，额外的在每一层学习一个task embedding及domain embedding。所以task就是LM or MT。目测都不怎么需要改太多XLM的代码。。。

• 有意思的点
  • 文章强调每层都有不同的task and domain embedding，不清楚share或者只有输入层加会咋样，没有ablation。只知道把这些embedding都去掉还是很明显的掉性能的
  • 跟back-translation有互补性

论文信息

• Author: CMU
• Paper
• Code

总结

• 方法不同于copy in-domain monolingual和back-translation这种从数据层面操作的方法，而是从模型角度出发，有互补性
• 方法很简单，domain adaptation这么蓝海么？？要是放出来数据集可以刷一刷
• code还没release出来，，