Open IkokObi opened 3 years ago
基本的なモデルはBERT-base
事前学習として以下の2つを採用
上記2つの後にマージンロスを用いた学習を行っている
学習にはmonolingualとbilingualデータセットを用いている
Tatoebaの結果より、低リソース言語に対しても良い精度
Ablation studyとして、marginロスの重要性を指摘している。BERTモデルの事前学習は、margin lossでの文書検索学習を十分行なうことでほぼ補えるという結果に。
ざっくり言うと
多言語での文章埋め込み(Sentence embedding)を学習するモデル(LaBSE)の研究。BERT由来のMasked language model(MLM)と多言語対応のための翻訳言語モデル、そして文章埋め込みを学習するために距離学習のような学習を取り入れることで精度を向上させた。学習済みモデルをTensorFlow Hubで公開している。
キーワード
1. 情報
論文リンク
https://arxiv.org/abs/2007.01852
著者
Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, Wei Wang Google AI
投稿日付
2020/7/3
2. 先行研究と比べてどこがすごい?
3. 技術や手法のキモはどこ?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?