Curriculum Learning

[GrapeDiget]

이유 : 커리큘럼 학습은 일반화와 빠른 수렴 속도의 장점을 가진다.

목표 : Reader 모델의 성능 향상시키기

[GrapeDiget]

현재 가진 모델을 사용하여 어려운 문제인지 판단

1. k fold 방식으로 train을 나누어 train에 대해 예측 수행
2. 틀린 train 데이터를 어려운 데이터로 간주, 가장 뒤로 미룸
3. 반복하여 겹칠수록 어려운 데이터로 간주

모델: roberta-large epoch 1만 수행		baseline	kfold 5개	kfold 8개
submit EM		56.25	47.92
submit F1		69.44	59.51
valid EM	65.833	65.417	62.5
valid F1	75.416	74.298	71.38

---

1. 1차 fine-tuning 된 모델을 통해 train에 대해 예측 수행
2. f1 score를 활용하여 얼마나 정답에 근접했는지를 수치화
3. 수치화한 근접도를 난이도로 판단, 데이터 정렬

[GrapeDiget]

Pre-training a BERT with Curriculum Learning by Increasing Block-Size of Input Text 입력 텍스트의 블록사이즈를 처음엔 작게 하고, 점차 키워가며 훈련 수행하는 Curriculum learning 방법

max_seq_length와 doc_stride를 96/32, 192/64, 384/128로 첨자 키워가면서 훈련 수행