Open yos1up opened 5 years ago
BERT モデルの内部のどこに言語学的な情報（品詞情報，係り受け情報など）が表現されているかを，edge probinng と呼ばれる手法 [Tenney et al. (2019)] により具体的に定量した．例えば品詞情報は BERT-large（全24層）のうちの第〜層にどの程度表現されている，というようなことを調べた．伝統的な自然言語処理のパイプラインが，BERT の中にも表現されていることが明らかとなった．
BERT, edge probing,
https://arxiv.org/pdf/1905.05950.pdf
Ian Tenney, Dipanjan Das, Ellie Pavlick
15 May 2019
従来ブラックボックスであった BERT の内部処理を調べた点．
手法は汎用的で，NLPに限らない分野の学習済みモデルの情報処理の性質を調べるのに有効そう．学習済みNNが「実質的に何をやっているか」を明らかにする研究は今後ももっと出てきそう．
ざっくり言うと
BERT モデルの内部のどこに言語学的な情報（品詞情報，係り受け情報など）が表現されているかを，edge probinng と呼ばれる手法 [Tenney et al. (2019)] により具体的に定量した．例えば品詞情報は BERT-large（全24層）のうちの第〜層にどの程度表現されている，というようなことを調べた．伝統的な自然言語処理のパイプラインが，BERT の中にも表現されていることが明らかとなった．
キーワード
BERT, edge probing,
1. 情報
論文リンク
https://arxiv.org/pdf/1905.05950.pdf
著者
Ian Tenney, Dipanjan Das, Ellie Pavlick
投稿日付
15 May 2019
2. 先行研究と比べてどこがすごい？
従来ブラックボックスであった BERT の内部処理を調べた点．
3. 技術や手法のキモはどこ？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
7. 実装の詳細
8. データセット
9. 結果の詳細
雑感&メモ
手法は汎用的で，NLPに限らない分野の学習済みモデルの情報処理の性質を調べるのに有効そう．学習済みNNが「実質的に何をやっているか」を明らかにする研究は今後ももっと出てきそう．