Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation
masked language model, translation language modelを応用した事前学習により、zero-shot machine translation (source-pivot, pivot-targetの教師データのみで、source-targetの翻訳を行う)を行なった研究。具体的には、下図の2つの方法によって、事前学習を行う。
Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation
masked language model, translation language modelを応用した事前学習により、zero-shot machine translation (source-pivot, pivot-targetの教師データのみで、source-targetの翻訳を行う)を行なった研究。具体的には、下図の2つの方法によって、事前学習を行う。
学習としては、事前学習と転移学習の2つのステップに分けられる。事前学習時では、source, pivotの単言語コーパス及び、source-pivotの対訳コーパスを利用する。転移学習時は、pivot-targetの対訳コーパスを利用して学習を行う。
文献情報