[Reading] Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism

[himkt]

Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism

• authors: Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao, Shengping Liu
• link: https://www.aclweb.org/anthology/D18-1017
• venue: EMNLP 2018

[altescy]

一言でいうと

中国語で単語分割タスクからNERへの敵対的転移学習の手法を提案し，SOTAを達成した．

概要

中国語のNERデータセットは小規模なものしかない(Weibo NER: 1.3k, Sighan2006 NER: 45k)． 一方で単語分割のデータセットは比較的多く存在する(MSR: 87k)． 単語の分割とNEの境界は共通している場合が多いため，タスク同士で情報を共有してNERの学習を効率的に行う． タスク間で情報を共有する一方で，各タスクに特有な特徴を捉えるための配慮もしている．

貢献

• NERタスクにおいて敵対的転移学習の手法を提案した．
• グローバルな依存関係を捉えるために自己注意(Multi-head Attention)を導入した．
• 中国語NERデータセット(Weibo NER, Sighan2006 NER)でSOTAを達成した．

手法

• タスクで独立のエンコーダー(private)と共通のエンコーダー(shared)を利用．
• sharedのエンコーダーの出力について，由来するドメインを予測する識別器を用いて敵対的に学習．
  • 識別機は正しく予測できるように学習
  • shared エンコーダーは識別機が誤るように学習
• 各タスクの学習と敵対的学習を同時に行う．

結果

• SOTA
  • WeiboNER (Peng and Dredze, 2015): F1 +4.67
  • WeiboNER (He and Sun, 2017a): F1 +0.47
  • SighanNER: F1 +1.43

コメント

• エンコーダーとか全部共通にすればいいってもんじゃない．
  • タスクとか言語が違う場合は(ここでいう)privateなエンコーダーを用意するのがよさそう．
• BiLSTMの後ろにMulti-head Attentionを置くのは初めて見た．
• Gradient Reversal Layerは便利そうなので使っていきたい．