PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL [ICLR, 2020] - Githubissues

Sosuke115 / paper-reading

4 stars 1 forks source link

PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL [ICLR, 2020] #38

Open Sosuke115 opened 3 years ago

Sosuke115 commented 3 years ago

ひとことで言うと

エンティティを使って単語を紛らわしいものに入れ替えることで事前学習

論文リンク

https://arxiv.org/pdf/1912.09637.pdf

概要

Screen Shot 2020-11-18 at 9 25 29

entity linking→mentionを同じタイプのentityにランダム置換してネガティブサンプルを作成元のテキストかネガティブサンプルかの二値分類を行う

Screen Shot 2020-11-18 at 9 28 51

評価方法

fact completionやQAで優位性を確認