[FEAT]AE based model 활용 relabeling

[luckyvickyricky]

ISSUE: Feature

노션 링크

https://www.notion.so/cukminseo/bert-relabel-1357e7782b6f80228be5fba7f0615caf

기능 목적

• title text노이즈 데이터(label true)를 Encoder 모델에 학습하여 label 분류 모델 생성
• 해당 모델을 활용하여 라벨노이즈로 의심되는 데이터(title text true)의 리라벨링

체크리스트

• [x] 노이즈 유무를 rule-based 방법으로 분류한 데이터 준비
  • is_noise column에 노이즈 유무를 기록, 이때 노이즈가 있다고 분류한 데이터를 학습데이터를 사용하므로 데이터의 양보다 True positive의 비율이 높아야함
• [x] is_noise==True 데이터를 train dataset으로, is_noise==False 데이터를 test dataset으로 분류하는 코드 작성
• [x] 여러 모델을 통한 실험 진행, test데이터셋을 relabeling
• [x] relabel 과정을 통해 relabel된 데이터의 갯수를 카운트하여 성능지표로 활용
  • 이때 relabel된 데이터가 1000개 근처일 경우 모델 성능이 높다고 고려(라벨 노이즈 데이터가 1000개이므로)

[luckyvickyricky]

• kakaobank/kf-deberta-base 활용 라벨오류 제거, acc, f1-score 0.83으로 team sota달성