Closed seopbo closed 4 years ago
[질문]
(1) 아키텍쳐(Enc, Dec, Enc-Dec)에 의한 차이인지 (2) 각 모형마다 pre-train 시 입력 전처리(de-noising) 방식 차이인지 (fine-tune 시에도 상이) (3) 둘 다 인지 잘 모르겠습니다.
또한 각 모형들을
GPT-2는 Small BART는 Large Bert는 Base
를 사용한 것 같은데.. 이게 어떤 의미일까요? 파라미터 갯수를 맞춘걸까요?;;
[질문]
BART 기반 모델들이 diversity 측면에서는 좋은 결과를 가져오지만 data fidelity를 봤을 때는 그렇지 못한 것 같습니다. 이 점에서 diverse하게 생성된 데이터들이 consistent함을 보장하는 데이터는 아니었던 것 같은데 이렇게 이해하면 될까요? 생성된 데이터들이 diverse하면서도 훈련 측면에서도 consistent한 것을 볼 수 있는 지표가 있을지도 궁금합니다.
어떤 내용의 논문인가요? 👋
pretrained transfomer based models을 사용한 DA(data augmentation)에 대한 unified approach를 제안함
Abstract (요약) 🕵🏻♂️
이 논문을 읽어서 무엇을 배울 수 있는지 간략하게 적어주세요! 🤔
이 논문의 아이디어를 적어주세요. (요약하여 적거나, 자세히 적어도 상관없습니다.)
1. 배경
기존 NLP DA 연구
본 논문은
2.방법
1) pretrained models 기반 DA
2) pretrained "LM" 기반 Conditional DA
conditional DA의 경우 model G는 data genertation을 위한 fine-tuning 동안에 label 정보를 통합
xi에 label인 yi를 prepend함으로써 labels에 대해 model을 condition할 수 있음
pretrain model을 class label에 condition하는 2가지 일반적인 방법을 비교
AE LMs 을 이용한 fine-tuning과 data generation
AR LMs 을 이용한 fine-tuning과 data generation
3) pretrained "seq2seq model" 기반 Conditional DA
3. 구현
1) BERT based model 구현
2) GPT2 model 구현
3) BART model 구현
4. 실험
Baseline Approaches for DA
Dataset
Low-resourced data scenraio
DA 평가
5. 결과
DA extrinsic 평가
DA intrinsic 평가 (1) Generated Data Fidelity
DA intrinsic 평가 (2) Generated Data Diversity
이 논문의 결론을 적어주세요.
참고 문헌
[1] Wu, Xing, et al. "Conditional BERT contextual augmentation." International Conference on Computational Science. Springer, Cham, 2019. [2] Anaby-Tavor, Ateret, et al. "Do Not Have Enough Data? Deep Learning to the Rescue!." AAAI. 2020. [3] "A Visual Survey of Data Augmentation in NLP"