[C18-1183] Distantly Supervised NER with Partial Annotation Learning and Reinforcement Learning

[ftnext]

https://www.aclweb.org/anthology/C18-1183/ 👉 https://aclanthology.org/C18-1183/

1 でsimple string matchingによるautomatic annotationと紹介されていて興味を持った

時間を決めて気になるところを読んだ

---

まとめ

中国語のNERで、新しいNER タイプのケース（※）の新しい手法を提案した論文。 （※）人がアノテーションした十分なデータがない

distant supervision: 新しいタイプのエンティティのリストの辞書をもとに、自動でラベル付きのデータを生成する（人手でやるよりも大量にできる）。 ただし2つの問題がある

1. incomplete annotation: 辞書に含まれないエンティティはアノテーションされない（アノテーション漏れ）
2. noisy annotation: エンティティのうち一部だけのアノテーション（エンティティ全体がアノテーションされない）

提案手法

• 1にはpartial annotation（PA）で対応
• 2は強化学習を使って、正例（positive instance）を選択して対応

Table1, 2を見ると

• 辞書はprecisionが著しく高いがrecallは著しく低い（正例を逃している）
• LSTM-CRF（Baseline）にPAとSL（強化学習によるselector）をあわせたアプローチがF1スコア最高

コード

• TensorFlow実装（Python 2）：https://github.com/rainarch/DSNER
• PyTorch実装（Python 3）：https://github.com/nooralahzadeh/DSNER-pytorch