Open ymym3412 opened 5 years ago
Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning Pengda Qin , Weiran XU , William Yang Wang
関係抽出で用いられるdistant supervisionのfiltering強化学習で行う
distant supervisionで問題になるFalse-Positiveを強化学習で緩和
関係抽出モデルの学習で用いられるdistant supervisionはnoisyなラベルつけであるためFalse-Positiveが問題になる。 そこでdistant supervisionのデータを残すか取り除くかを行動とし、そのデータセットで学習を行い1エポック前と比べて改善したF値を報酬として強化学習でfilteringするフレームワークを提案。 データのfilteringのフレームワークの提案であるため、実際に関係抽出を行うモデルには自由なモデルを設定できるのが強み。
NYTコーパスで検証。 強化学習を使うことでF1値が改善されることを確認。
pretrain時に負例が多い方が学習がうまくいくとあるが、詳しい説明が書いておらずよく分からない。
Reinforcement learning for relation classification from noisy data Jun Feng, Minlie Huang, Li Zhao, Yang Yang, and Xiaoyan Zhu
最先端NLP勉強会の資料 https://speakerdeck.com/mamoruk/robust-distant-supervision-relation-extraction-via-deep-reinforcement-learning
ymym3412
commented
5 years ago ymym3412
commented
5 years ago
0. 論文
Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning Pengda Qin , Weiran XU , William Yang Wang
1. どんなもの？
関係抽出で用いられるdistant supervisionのfiltering強化学習で行う
2. 先行研究と比べてどこがすごい？
distant supervisionで問題になるFalse-Positiveを強化学習で緩和
3. 技術や手法のキモはどこ？
関係抽出モデルの学習で用いられるdistant supervisionはnoisyなラベルつけであるためFalse-Positiveが問題になる。 そこでdistant supervisionのデータを残すか取り除くかを行動とし、そのデータセットで学習を行い1エポック前と比べて改善したF値を報酬として強化学習でfilteringするフレームワークを提案。 データのfilteringのフレームワークの提案であるため、実際に関係抽出を行うモデルには自由なモデルを設定できるのが強み。
4. どうやって有効だと検証した？
NYTコーパスで検証。 強化学習を使うことでF1値が改善されることを確認。
5. 議論はある？
pretrain時に負例が多い方が学習がうまくいくとあるが、詳しい説明が書いておらずよく分からない。
6. 次に読むべき論文は？
Reinforcement learning for relation classification from noisy data Jun Feng, Minlie Huang, Li Zhao, Yang Yang, and Xiaoyan Zhu