search

Sosuke115 / paper-reading

4 stars 1 forks source link

Don’t Use English Dev: On the Zero-Shot Cross-Lingual Evaluation of Contextual Embeddings [EMNLP, 2020] #42

Open Sosuke115 opened 3 years ago

Sosuke115 commented 3 years ago

論文リンク

https://www.aclweb.org/anthology/2020.emnlp-main.40.pdf

概要

cross-lingual transfer learningにおいて原言語の検証データでエポック数の調整を行うのが普通だが、 原言語の検証データでの性能と目的言語での性能には相関があまりなく、再現性のない結果になりやすい。（性能がブレる）

以上の問題を解決するために、完全にzero-shotでの性能に加えて、目的言語の検証データを用いてエポック数を言語ごとに選択したモデルの性能をzero-shot cross-lingual transfer learningの上限スコアとして提示することを提案。

手法のキモ・評価方法

Screen Shot 2021-02-16 at 23 17 24

MLDoc and XNLIにてdevでの性能の改善・改悪とtestでの改善・改悪の一致度を検証。0.5未満だとランダムにエポック数を決めるより悪い結果と言える