SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness

[toriving]

https://www.aclweb.org/anthology/2020.emnlp-main.97.pdf

[toriving]

https://github.com/toriving/Plz_Read_The_Paper/blob/master/PAPERS/SSMBA_%20Self-Supervised%20Manifold%20Based%20Data%20Augmentation%20for%20Improving%20Out-of-Domain%20Robustness.pdf

[toriving]

Corruption Function으로 MLM을 사용 Reconstruction Function으로 Roberta를 사용

f(x) 의 경우 CNN을 사용

단순 MLM 방식을 이용한 Data augmentation

sample 당 generation 5개씩

f(x) 모델의 정확도가 좋아질 수록 pseudo labeling (hard / soft)의 성능이 기존 label을 유지하는 것 보다 좋아짐

일반적으로 hard 보단 soft가 더 좋음

EDA / CBERT / UDA 보다 좋다고 함

classification의 경우 RNN / CNN 모델사용 MNLI / ANLI는 Roberta 사용 MT는 Transforemer 사용

Ood accuracy 는 학습하지 않은 다른 도메인의 데이터셋으로 평가

레이블이 같아서 가능