19-EMNLP-Iterative Dual Domain Adaptation for Neural Machine Translation

[wangqiangneu]

简介

做domain adaptation，主要的动机是以往的domain adaptation往往都是one-pass的，比如在out-domain上训练，然后在in-domain上finetune。这种one-pass的方式transformer knowledge不够充分，文章的做法基本思想就是要iterative的进行双向distillation。这里强调的是，除了in-domain从out-domain学之外，out-domain的模型也要从in-domain中学习。所以是一种双向学习的过程。

• 有意思的点
  • 当有多个domain时，计算这些out-domain与in-domain的相似度（domain的相似度有很多计算方式，文章里用的是一个proxy distance，即linear bag-of-word的SVM分类器的泛化误差）。transfer的时候，先让与in-domain最不相似的out-domain学习，最后才是与in-domain最相似的out-domain学习。也就是说这里有一个transfer order的问题。动机是，越早transfer，模型越容易忘掉这些Knowledge。可以理解成“把最想吃的东西留到最后吃才香”，哈哈

论文信息

• Author: XMU
• Paper
• Code

总结

• 简单说，就是让out-domain和in-domain之间进行双向学习，而不是单向学习。同时，应该迭代多次的学习，而不是单轮学习。听起来是合理的。
• out-domain的学习顺序，是个挺重要的因素
• 实验结果显示的是out-domain在不掉的情况下，大幅提高in-domain的性能，挺吸引人
• 怎么结合单语数据？