altescy
commented
4 years ago 一言でいうと
単語埋め込みのアライメントを利用したzero-shot cross-lingual NERモデルの提案
概要
cross-lingual NERでは，単語翻訳を行い文字レベルの情報を利用することで効率的に学習することができる(らしい)． 辞書を用いた単語単位の翻訳には大規模な辞書情報を必要とするが，単語埋め込みを利用する教師なし・弱教師有りの翻訳を用いることでパラレルコーパスの少ない言語においても単語翻訳を実現できる． 単語埋め込み→アライメント→単語翻訳→ソースのコーパスでモデルを学習→zero-shot
貢献
- 単語埋め込みを用いた単語翻訳手法の導入
- cross-lingual transferにおける単語埋め込み+文字レベル特徴量の利用
- 語順の違いを吸収する自己注意機構の利用
手法
以下の手順で学習:
- 単一言語コーパスで単語埋め込みを学習
- 教師有り・辞書を使った弱教師有り学習でソース・ターゲットの単語アライメント
- 埋め込みの最近傍に基づくソース→ターゲットの単語翻訳
- 翻訳した単語と埋め込みで上のモデルを学習
結果
- スペイン語，オランダ語では既存のcross-lingual NERモデルを上回る精度を達成
- ドイツ語が負けたのは形態論的に複雑な言語だから埋め込みの対応付けが信頼ならないと考察
- 自己注意はcross-lingualの学習に有効であることが示唆された
- 英語→Uyglurにおいても既存手法と同程度以上の結果
コメント
- cross-lingualな設定においても単語埋め込み+文字レベル特徴量を使うアイデアはよさそう
- 最近のcross-lingual NERにはLSTMの出力に自己注意をおいて語順を吸収させたり大域的な依存関係を捉えようとする論文がいくつか見られる
- monolingualの単語埋め込みはWikipediaコーパスなどつかって学習したpre-trainedのものを使っているのにTable 1のExtra Resourcesが空欄なのはフェアじゃないと思った
Neural Cross-Lingual Named Entity Recognition with Minimal Resources