InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective

[icoxfog417]

一言でいうと

事前学習済み言語モデルをFine TuneしてAdversarial Sentenceの追加に頑健にする研究。(後続タスクに)必要最低限な特徴に抑えるためInformation Bottleneckを用いた正則化を行うと共に、単語特徴と大域特徴を比較し影響が大きすぎる/小さすぎる単語を除外している。

論文リンク

https://arxiv.org/abs/2010.02329

著者/所属機関

Boxin Wang, Shuohang Wang, Yu Cheng, Zhe Gan, Ruoxi Jia, Bo Li, Jingjing Liu

• University of Illinois at Urbana-Champaign
• Microsoft Dynamics 365 AI Research
• Virginia Tech

投稿日付(yyyy/MM/dd)

2020/10/5

概要

新規性・差分

手法

結果

コメント

[icoxfog417]

解説スライド https://www.slideshare.net/DeepLearningJP2016/dlinfobert-improving-robustness-of-language-models-from-an-information-theoretic-perspective