20-AAAI-Transductive Ensemble Learning for Neural Machine Translation

[wangqiangneu]

简介

更好的model ensemble方法，前提是需要提前知道test set的源语数据，因此适合offline translation（e.g. WMT），不适合online translation。这里提到的transductive learning是semi-supervised learning的特例，这里的semi-supervised体现在单语数据不是用来做training set(e.g. back-translation)，而是用validation/test set的单语数据！希望之前在training set训的模型能适应test set的空间。所以基本方法是：让多个训好的模型，翻译valid/test中的源语数据，形成伪数据。用这个伪数据（可选：混部分训练数据，但是效果不明显）finetune之前的多个模型。用valid从这些finetuned好的模型中做模型选择。最终只使用一个finetuned single model翻译test set

• 有意思的点：
  • ensemble在模型比较弱的时候（e.g. 不加back-translation），效果明显；但是当模型变强(e.g. 加了back-translation)，ensemble的提升就很少了。怀疑的原因是，越强的模型，模型之间的多样性反而变少了，彼此很像。
  • sentence-level ensemble (e.g. 每个model产生几个candidates，把所有candidatates让所有model打分，rerank)经验上比token-level ensemble略低，0.1-0.2 BLEU
  • TEL在strong model上，以及对model number上都比较robust

论文信息

• Author: MSRA
• [Paper](not published yet)

总结

• 估计只适合搞评测的时候试试，其他的使用场景感觉够呛呢，流程还是相对复杂点，涉及模型训练，虽然使用时只是single model，这块优于ensemble，但中间又translate valid/test set，又finetune，复杂度更高