MaskedLM 학습 관련

[Yebin46]

관련 코드는 load_data.py와 train_lm.py에만 있습니다!

어떤 문제가 있는가?

• 피어세션 전까지 train 때는 돌아가는데 evaluation 단계에서 자꾸 CUDA OOM 문제가 발생했습니다.
• 저는 이게 제가 compute_metrics 함수를 잘못 작성하여 생긴 문제라고 생각했는데, 함수 안에 import pdb; pdb.set_trace()를 넣어봐도 pdb가 동작하지 않고 같은 에러(OOM)만 발생했습니다.
• eval batch size를 줄여도 여전히 같은 에러가 발생되어서, 좀 더 찾아본 결과 TrainingArguments에 eval_accumulation_steps 옵션을 추가해주면 해결된다는 글을 발견했고, 실제로 eval_accumulation_steps=2를 추가했을 때 eval batch size가 16이어도 동작하는 것을 확인했습니다. (그런데 여전히 compute_metrics 안의 pdb가 동작하지 않아서 이상하게 느껴집니다ㅜ) -> 해결된지 알았는데 도중에 Memory Error라는 다른 에러가 발생하네요...😥
• 원래 MaskedLM이 이렇게 속도가 느린 건지 아직 첫 번째 evaluation도 다 끝나지 않아 제대로 디버깅을 하지 못했는데, 궁금하신 분들도 계신 것 같아서 올립니다! 제가 해야 할 일이니까 궁금하신 분만 그냥 심심하실 때 슬쩍 봐주셨으면 좋겠습니다ㅠㅠ 다들 너무 잘해주셔서 제가 면목이 없습니다..

load_data.py

• LM_Dataset 클래스: __getitem__에서 input 문장에 대해 mask token(['MASK'])을 씌워줌.
• load_lm_data 함수: sentence 중복 제거, 다른 전처리 하지 않음.
• tokenized_lm_dataset 함수: 기존 tokenized_dataset 함수에서 entity 추가하는 부분을 뺀 것과 거의 동일.
• mask_tokens 함수: LM_Dataset의 __getitem__에서 호출됨. BERT에서 마스크를 씌워줬던 방식과 동일 (mask가 씌워지지 않은 토큰에 대해 label이 -100으로 되어있는데 transformers RobertaForMaskedLM 코드를 보니까 label 중 값이 -100인 것을 제외하고 loss를 계산한다고 나와있습니다!)

train_lm.py

• train/validation dataset은 random_split으로 나눔
• load_lm_dataset, tokenized_lm_dataset 함수 호출

[j961224]

면목이 없다뇨... ㅠㅠ 그런 생각 버려주세요! 전 더 못하지만 같이 고민해요! 좋은 방법 시도해주시고 계셔서 감사합니다!

[Yebin46]

해결(?)

• compute_metrics 자체가 EvalPrediction 형태를 가져야 해서 label_ids와 model prediction을 비교를 하는 것을 확인했습니다. (huggingface transformers trainer docs)
• MaskedLM에서 사용할 수 있는 방법은 아닌 것 같아 아예 evaluation을 하지 않고 온전히 train만 하는 것으로 방향을 바꾸었습니다.
• MLM의 성능이 저희에게 중요한 게 아니고, 성능이 낮더라도 단어 관계를 기존(RE data를 사용하지 않은 pretrained model)보다는 더 잘 파악할 것이라 생각해서 괜찮을 거라고 생각합니다...ㅎㅎ

적용 결과

• 10/2 어떠한 데이터 전처리(중복 제거 제외)를 하지 않았을 때, 전처리 방법 비교 때 사용했던 raw data(59.775) klue/roberta-large 보다 성능(61.888)이 향상된 것을 확인했습니다. (mlm pretrained -> klue/roberta-large (raw data)이라는 상세설명으로 제출)
• 10/3 preprocessing, entity, mecab 세 개의 전처리를 모두 사용했을 때, 전처리 방법 비교 때 사용했던 use_prepro_entity_mecab(67.634)보다 성능(62.595)이 훨씬 떨어지는 것을 확인했습니다. (mlm pretrained -> klue/roberta-large (preprocessing, entity, mecab)이라는 상세설명으로 제출)
• 10/5 mlm 데이터에도 동일한 전처리(preprocessing, entity, mecab)를 한 후 re fine-tuning(p, e, m 적용) 했을 때, use_prepro_entity_mecab(67.634)보다 성능(68.989)이 향상된 것을 확인했습니다 ! 🎉🥳🎊 (mlm pretrained (preprocessing, entity, mecab) -> klue/roberta-large (preprocessing, entity, mecab)이라는 상세설명으로 제출)

[j961224]

예빈님 혹시 시도하시는게 masking은 static masking이 맞을까요?

[Yebin46]

getitem 할 때마다 데이터에 masking 하는 건데 이건 dynamic masking일까요...?!

[j961224]

epoch마다 getitem이 되면 dynamic masking이 맞는 것 같아요!