[EXP] 문장간 MIX

[luckyvickyricky]

ISSUE: Experiment

노션 링크

https://www.notion.so/cukminseo/LLM-1377e7782b6f8015a6d2d4c4461cf76b

실험 목적

• 어떤 데이터 증강을 할지에 대한 고민
  • 모델이 생성형 증강으로 새로운 문장을 학습하는 것보다 기존 문장을 임의로 섞는 것이 모델이 테스트셋에 강건한 성능을 모이지않을까?; 문장간 mix해보면 어떨까!
  • 랜덤으로 같은 label의 문장 두개 뽑기
  • 첫 문장의 앞 절반 + 두번째 문장의 뒤 절반 MIX

체크리스트

• [x] 문장을 레이블에 따라 분류하여 7개의 데이터프레임 생성
• [x] 라벨당 n개(eg.300개) 데이터 생성 증강
  • 랜덤으로 같은 라벨 데이터 2개 뽑아서 하나의앞부분절반+하나의뒷부분 절반을 mix