altescy
commented
4 years ago 一言でいうと
低リソースなcross-lingual, cross-domainの転移学習手法を提案した．
概要
高リソースから低リソースへの転移学習の手法はこれまでにも提案されているが，データ規模の不均衡を考慮していない． また，ドメイン・言語間での情報共有は行われている一方で，各リソースに特有な表現を保つことが考慮されていない． これらの問題を解決するために，Adversarial Discriminator，Generalized Resource-Adversarial Discriminator(後述)，Adversarial Trainingを導入した．
貢献
- リソース間の表現の違いを考慮した転移学習
- リソース間のデータ規模の不均衡を考慮した学習手法
- Adversarial Traningの導入
手法
- 基本的な構造は #30 とだいたい同じ．
- リソース独自のエンコーダーをもったモデル(DATNet-P)と全部共通のエンコーダのモデル(DATNet-F)を提案．
- リソース同士のデータ規模の不均衡を考慮するためにAdversarial Discrimnatorの誤差にはFocal Lossを利用
- \alphaがデータ規模の不均衡を考慮するパラメータ
- Focal Lossはリソース規模の不均衡だけでなく，各例ごとの予測の難しさも考慮する(\gammaがかかっている部分)
- 各単語埋め込みにAdversarial Perturbationを与えて学習する
結果
- 追加の特徴量(POSとかGazetteer)を使わず，既存のSOTA手法と同等以上の精度を達成．
- cross-lingual設定ではDATNet-P，cross-domain設定ではDATNet-Fが有効とわかった．
- リソース規模が不均衡であるほど，Adversarial Perturbationは大きくしたほうが正則化が働いてよい．
コメント
- 日英のような，比較的似ていない言語間での転移学習ではどのくらい性能が出るのか気になる．
- Focal Lossは転移学習に限らず，ラベルや予測の難易度の不均衡があるデータならいろいろつかえそう．
Dual Adversarial Neural Transfer for Low-Resource Named Entity Recognition