Open raki-1203 opened 2 years ago
Model valid score 비교 (klue/roberta-small, klue/roberta-base, klue-roberta/large, klue/bert-base, monologg/koelectra-base-v3-discriminator)
아마 여기 들어가시면 좀 더 자세히 볼 수 있을거라고 생각됩니다.
10 epoch 기준으로 exact_match score 순위입니다.
10 epoch 기준으로 runtime 시간입니다.
mrc eval/exact_score 는 높지만 LB 상에서는 점수가 낮은 걸 생각해보면 역시 retrieval 이 중요한 것 같아요!
Model valid score 비교 (klue/roberta-small, klue/roberta-base, klue-roberta/large, klue/bert-base, monologg/koelectra-base-v3-discriminator)
아마 여기 들어가시면 좀 더 자세히 볼 수 있을거라고 생각됩니다.
mrc eval/exact_score 는 높지만 LB 상에서는 점수가 낮은 걸 생각해보면 역시 retrieval 이 중요한 것 같아요!