BERT-ATTACK: Adversarial Attack Against BERT Using BERT

[tm4roon]

BERT-ATTACK: Adversarial Attack Against BERT Using BERT

テキスト分類器を狂わせるような敵対的サンプルの生成手法について提案した論文。 敵対的サンプルの生成は基本的に単語や文字の置換によって行われているが、 文の流暢性は意味を損なってしまう場合が多い。 ここでは、BERTのマスク単語予測を利用した言い換え生成を行うことにより、 より高品質な敵対的サンプルの生成が行えることを示した。

具体的には、以下の方法により敵対的サンプルを生成する。

1. 単語の重要度を算出: 単語Wの重要度 = (攻撃対象モデルに文Sを入力した時の正解ラベルYのスコア) - (文S中のある単語Wをマスクした際の正解ラベルYに対応するスコア)
2. BERTによる言い換え生成: 文Sを入力し、各位置の出力確率topKを算出。 Step1で得られた重要度の高い順にtopKからサンプリングして言い換え生成。

文献情報

• 著者: Linyang Li, Ruotian Ma,Qipeng Guo, Xiangyang Xue, Xipeng Qiu
• リンク: https://arxiv.org/abs/2004.09984
• 学会名: arXiv