Open tm4roon opened 4 years ago
NMTを対訳ペア抽出器として利用することにより、自己教師あり学習を行う手法を提案。具体的には、(1) 単語ベクトルの合計ベクトルとencoderの隠れ層の合計ベクトルを用いて、comparable corpusから対訳ペアを抽出 (2) 抽出した対訳ペアでNMTを学習。これを相互に繰り返すことにより、より高性能な翻訳器を構築する。 単語ベクトルには、pre-trianed cross-lingual word embeddingを利用。学習が進んでいくに連れて、対訳ペアが単語の一致する文から、より意味の複雑な文を抽出することができるようになった。
また、今回はあくまでcomparable corpusを利用しており、何からの対応関係があることが前提となっているデータを利用した実験設定になっている。そのため、monolingual corpusを利用した実験よりも有利な実験設定となっている。
Self-Supervised Neural Machine Translation
NMTを対訳ペア抽出器として利用することにより、自己教師あり学習を行う手法を提案。具体的には、(1) 単語ベクトルの合計ベクトルとencoderの隠れ層の合計ベクトルを用いて、comparable corpusから対訳ペアを抽出 (2) 抽出した対訳ペアでNMTを学習。これを相互に繰り返すことにより、より高性能な翻訳器を構築する。 単語ベクトルには、pre-trianed cross-lingual word embeddingを利用。学習が進んでいくに連れて、対訳ペアが単語の一致する文から、より意味の複雑な文を抽出することができるようになった。
また、今回はあくまでcomparable corpusを利用しており、何からの対応関係があることが前提となっているデータを利用した実験設定になっている。そのため、monolingual corpusを利用した実験よりも有利な実験設定となっている。
文献情報