[DEV] Curriculum learning

[JeangyuHeo]

• [ ] 단답형, 서술형 문제로 분류하여 학습(기각)
• [x] masking 주는 개수를 바꿔가며 학습
• [x] sentence permutation 비율을 바꿔가며 학습
• [x] context 길이에 따라 나누어 학습
• [x] answer의 위치에 따라 나누어 학습
• [ ] 문제 유형으로 나누어 학습(기각)

위의 실험들을 통해서 의미 있는 결과를 찾아보고 발전시키는 것이 목표입니다.

[KimDaeUng]

389149e5a531ffc970cfb1bd2884b75f25d2f86d Curriculum Learning을 위한 코드 작성. 순차적으로 데이터셋 split을 바꿔끼면서 학습하는 방식으로 다음과 같이 shell script를 작성하여 실행.

# !bin/bash

python3 new_run.py configs/curri01/easy.yaml

python3 new_run.py configs/curri01/normal.yaml

python3 new_run.py configs/curri01/hard.yaml

[KimDaeUng]

answer의 위치

• 초반을 제일 쉬움, 후반을 제일 어려움으로 선정하고, 백분위수로 데이터셋을 3등분하여 실험
• 순차학습(초반 -> 중반 -> 후반 )시에 베이스라인(base-sds) 대비 성능 하락(EM 56.25->51.66)
• 반대로 학습시 하락폭은 낮지만 성능 하락(EM 54.1667)
• curriculum learning 조건에서 기각

최종 Curriculum Learning 실험 조건을 아래와 같이 세팅

1. Masking(3952 * 3 = 11,856)
   • Mask token 2, 원본 train set, 유사한 token 삽입
2. Sentence Permutation(3952 * 3 = 11,856)
   • Permutation ratio 0.1, 0.2, 0.4
3. Context Length(19,391)
   • train set을 사용하지 않기 위해 wiki데이터셋에서 생성한 augmentation set 이용
   • Context Length 기준 short < 673 <= normal < 935 <= long

Sample Scoring

• 기준 모델

  1. kiyoung2/roberta-large-qaconv-sds(LB 57.5)
  2. kiyoung2/roberta-large-qaconv-sds-aug, revision=main(LB 61.67)
  3. kiyoung2/roberta-large-qaconv-sds-aug, revision=tapt-wikipororo(LB 62.5)

• 결과

• 위 데이터셋에서 각 샘플별 모델의 정답 여부로 난이도별 데이터셋 재구성

  • level 0 : 3개 모델 모두 정답(6,351개)
  • level 1 : 1~2개 모델 정답(6,005개)
  • level 2 : 3개 모델 모두 오답(30,747개)

• 동일 모델로 학습시 각 데이터셋 마다 validation set score가 차이나는 것을 확인

• 순차학습 시 hard 난이도에서 학습 성능 저하 문제 발생

• 각 난이도별 모델 soft voting으로 최종 활용

[KimDaeUng]

ce453d7e5e11b5c4d1560ed00fe138d0509f0f51 curri-learn branch를 curri-learn-tu에 merge, curri-learn branch 삭제