19-EMNLP-Simple, Scalable Adaptation for Neural Machine Translation

[wangqiangneu]

简介

Finetune for domain adaptation/multilingual NMT. 方法感觉很简单粗暴啊，以domain adaptation为例，传统的finetune需要为每一个in-domain单独训练一个模型，很麻烦。文章的思路是为每个in-domain在base model基础上增加一个小的module，这个module每个领域是独有的，且capacity可以根据in-domain的难易程度或者数据集大小调整。用这种方法finetune时，freeze base model，只训练这个小的module就可以。

论文信息

• Author: Google
• Paper

总结

• 很简单的方法呢。但是看性能似乎并没有比full finetune高太多呢。
• 并且看Figure 5, 似乎full finetune虽然会overfitting, 但是能更早的达到最高点呢。。所以这个方法的好处，也没有说finetune的时间更快（虽然只finetune很小一部分参数)

[BrightXiaoHan]

你好，请问这篇文章有开源实现么

[wangqiangneu]

你好，请问这篇文章有开源实现么

就我了解好像没有现成的开源实现，不过这个方法比较简单，不难实现