GENZITSU
commented
1 year ago 自然言語処理分野で用いられる敵対的学習手法について
最近の自然言語処理コンペで度々用いられる敵対的学習手法、Fast Gradient MethodとAdversarial Weight Perturbationの解説及び実装例が紹介されているブログ
Fast Gradient Method
FGMは現在のモデルの精度を最も悪くする方向に入力に摂動を与えたときでもコスト関数が小さくなるような制約をモデルに与える。
この摂動をDeepなモデルに対して得ることは困難なのだが、誤差逆伝搬を利用する以下の方式で求められることがExplaining and Harnessing Adversarial Examplesにて提案されている。
下記は実装例
# reference: https://www.kaggle.com/c/tweet-sentiment-extraction/discussion/143764
class FGM():
def __init__(self, model):
self.model = model
self.backup = {}
def attack(self, epsilon=1., emb_name='word_embeddings'):
"""
敵対的な摂動を求め、現在のembedding layerに摂動を加える
"""
for name, param in self.model.named_parameters():
if param.requires_grad and emb_name in name:
self.backup[name] = param.data.clone()
norm = torch.norm(param.grad)
if norm != 0:
r_at = epsilon * param.grad / norm
param.data.add_(r_at)
def restore(self, emb_name='word_embeddings'):
"""
敵対的な摂動を求める際に変更してしまったembedding layerのパラメータについて
元のパラメータを代入する
"""
for name, param in self.model.named_parameters():
if param.requires_grad and emb_name in name:
assert name in self.backup
param.data = self.backup[name]
self.backup = {}使い方
# from https://blog.brainpad.co.jp/entry/2022/08/23/153001
fgm = FGM(model)
for batch_input, batch_label in data:
# オリジナルのサンプルについての損失を計算
loss = model(batch_input, batch_label)
loss.backward()
# adversarial training
# embedding layerに敵対的な摂動を加える
fgm.attack()
# 敵対的な摂動を加えられた状態での損失を計算
loss_adv = model(batch_input, batch_label)
loss_adv.backward()
fgm.restore()
optimizer.step()
model.zero_grad()Adversarial Weight Perturbation
モデルの入力に対して摂動を加えるのではなく、モデルの重みに摂動を加えるという手法
実装は以下
# reference: https://www.kaggle.com/code/wht1996/feedback-nn-train/notebook
class AWP:
def __init__(
self,
model,
optimizer,
adv_param="weight",
adv_lr=1,
adv_eps=0.2,
start_epoch=0,
adv_step=1,
scaler=None
):
self.model = model
self.optimizer = optimizer
self.adv_param = adv_param
self.adv_lr = adv_lr
self.adv_eps = adv_eps
self.start_epoch = start_epoch
self.adv_step = adv_step
self.backup = {}
self.backup_eps = {}
self.scaler = scaler
def attack_backward(self, x, y, attention_mask,epoch):
"""
敵対的な摂動を加えた損失を計算し、パラメータを更新する
"""
if (self.adv_lr == 0) or (epoch < self.start_epoch):
return None
self._save()
for i in range(self.adv_step):
self._attack_step()
with torch.cuda.amp.autocast():
adv_loss, tr_logits = self.model(input_ids=x, attention_mask=attention_mask, labels=y)
adv_loss = adv_loss.mean()
self.optimizer.zero_grad()
self.scaler.scale(adv_loss).backward()
self._restore()
def _attack_step(self):
"""
敵対的な摂動を求め、重みに加える
重みの範囲をbackup_epsで制限している
"""
e = 1e-6
for name, param in self.model.named_parameters():
if param.requires_grad and param.grad is not None and self.adv_param in name:
norm1 = torch.norm(param.grad)
norm2 = torch.norm(param.data.detach())
if norm1 != 0 and not torch.isnan(norm1):
r_at = self.adv_lr * param.grad / (norm1 + e) * (norm2 + e)
param.data.add_(r_at)
param.data = torch.min(
torch.max(param.data, self.backup_eps[name][0]), self.backup_eps[name][1]
)
def _save(self):
"""
重みのバックアップと、重みの範囲を取得する
重みの範囲はパラメータの絶対値とadv_epsによって決定する
"""
for name, param in self.model.named_parameters():
if param.requires_grad and param.grad is not None and self.adv_param in name:
if name not in self.backup:
self.backup[name] = param.data.clone()
grad_eps = self.adv_eps * param.abs().detach()
self.backup_eps[name] = (
self.backup[name] - grad_eps,
self.backup[name] + grad_eps,
)
def _restore(self):
"""
バックアップを取っていたパラメータを代入するとともに初期化する
"""
for name, param in self.model.named_parameters():
if name in self.backup:
param.data = self.backup[name]
self.backup = {}
self.backup_eps = {}このクラスをインスタンスかして以下のように使用する。
# reference: https://www.kaggle.com/code/wht1996/feedback-nn-train/notebook
with torch.cuda.amp.autocast():
loss, tr_logits = model(input_ids=input_ids, attention_mask=attention_mask, labels=labels)
loss = loss.mean()
optimizer.zero_grad()
# loss.backward()
# optimizer.step()
scaler.scale(loss).backward()
if f1_score > 0.64:
awp.attack_backward(input_ids,labels,attention_mask,step)
# gradient clipping
torch.nn.utils.clip_grad_norm_(
parameters=model.parameters(), max_norm=10
)
scaler.step(optimizer)
scaler.update()
scheduler.step()コメント
実装のイメージがあまり沸いてなかった手法達だったが、元の入力/重みを一回バックアップしておいて摂動を与えてロスを算出しているということがわかり勉強になった。
FGMはあまり使われているということを知らなかっただ、AWPの方がモデル全体に正則化をかけられるから精度を上げやすいのかなと想像。
逆翻訳を使って日本語テキストの学習データを拡張(水増し)してみた
みらい翻訳APIを用いてテキストデータのが逆翻訳を実施し、文書分類精度が向上するかを検討した記事。
リクルートが公開しているじゃらんnetに投稿されたポジネガラベル付きの宿クチコミのコーパスを用いて検証。
逆翻訳の様子 逆翻訳の成功確率は50%くらいといった感じか
水増しで1.5枚程度にしたものと、水増しなしで比較、使用モデルは
"cl-tohoku/bert-base-japanese-whole-word-masking全てのカテゴリで精度が上昇しているが、テキスト量が少なかったラベル2での向上が著しい
コメント
最近あまり見聞きしてなかった古のテクだけど、まだ効果があるみたい
ちなみにみら翻訳の価格は以下の通りで、学習データ増強につかうのであれば定額プランを使いたいところ。
DeepL翻訳の場合は以下の通りで、こっちの方が安そう？
出典
逆翻訳を使って日本語テキストの学習データを拡張(水増し)してみた