Semi-supervised Multitask Learning for Sequence Labeling

[kwgit-public]

0. 論文情報

   • paper

1. どんなもの？

   • 教師なし学習を組み合わせたsequence labelingタスクの学習フレームワーク
   • 各sequence labelingタスクに加えて、周囲のトークンの分類タスクを学習させることでsequenceの構造や文脈をを考慮した学習ができる

2. 先行研究と比べてどこがすごい？

   • sequence labelingの分野では、分類タスクに使われるラベルの分布に極端な偏りが生じていることが多い
   • 主に学習に利用されない支配的なラベルを学習に利用することで、学習データの有効活用を図る
   • NER, chuking, POS taggingなど様々なsequence labelingタスクで使える学習フレームワークを提案している

3. 技術や手法のキモは？

   • 教師なし学習として周辺トークンの分類タスクを同時に解いていること
   • Word2Vec + BiLSTM

4. どうやって有効と検証した？

   • 10個のsequence labelingデータセットで検証
   • NER

5. 議論はある？

   • 周辺トークン以外に学習データセットから得られるデータはないか
   • もう少し難しそうなデータセットで改善するかみたい

6. 次に読むべき論文は？

7. その他

   • GPTとかBERTもそうだけど教師なし学習をうまく活用することがNLPにおいて重要そう
   • 事前学習だけじゃなくてメインのタスク学習においてもマルチタスク学習は必須かもしれない