Finetune for domain adaptation/multilingual NMT. 方法感觉很简单粗暴啊,以domain adaptation为例,传统的finetune需要为每一个in-domain单独训练一个模型,很麻烦。文章的思路是为每个in-domain在base model基础上增加一个小的module,这个module每个领域是独有的,且capacity可以根据in-domain的难易程度或者数据集大小调整。用这种方法finetune时,freeze base model,只训练这个小的module就可以。
简介
Finetune for domain adaptation/multilingual NMT. 方法感觉很简单粗暴啊,以domain adaptation为例,传统的finetune需要为每一个in-domain单独训练一个模型,很麻烦。文章的思路是为每个in-domain在base model基础上增加一个小的module,这个module每个领域是独有的,且capacity可以根据in-domain的难易程度或者数据集大小调整。用这种方法finetune时,freeze base model,只训练这个小的module就可以。
论文信息
总结