search

boostcampaitech5 / level2_klue-nlp-04

level2_klue-nlp-04 created by GitHub Classroom
1 stars 0 forks source link

[Model] 사용할 Model 후보 정하기 #10

Closed ChoiHwimin closed 1 year ago

ChoiHwimin commented 1 year ago

복수의 Model 조서 필요성

각각의 모델은 성능 한계가 존재하며 더욱 높은 성능을 위해 다른 모델을 시도할 필요가 있음 복수의 모델을 Ensemble 하여 성능을 높일 수 있음

Baseline의 모델 정보

Baseline에서는 klue/bert-base를 사용 Hugging Face klue/bert-base의 Relation Extraction Task의 평가 점수는 F1 score : 66.44, AUPRC : 66.17

한국어 기반 모델 성능 비교

  1. KLUE-benchmark Relation Extraction Task에 관한 점수가 포함되어 있음 목록 : mBERT-base, XLM-Roberta, KR-BERT-base, koELECTRA-base, KLUE-BERT-base, KLUE-RoBERTa

  2. KcELECTRA Performance Relation Extraction Task에 관한 점수가 포함되어 있지 않음 목록 : KoBERT, XLM-Roberta-Base, HanBERT, KoELECTRA-Base, DistilKoBERT, KcELECTRA-base

성능을 비교할 수 있는 추가적인 정보 공유 또는 어떤 모델이 좋을지 논의가 필요

ChoiHwimin commented 1 year ago

모델 성능 비교를 확인했을 때 XLM-Roberta-Base와 KoELECTRA-Base가 전반적인 한국어 데이터셋에서 좋은 성능을 보이지만 KLUE 데이터셋에서는 좋지 못한 모습을 보인다. KLUE 데이터셋은 KLUE로 만들어진 KLUE-BERT-base, KLUE-RoBERTa가 가장 좋을 것으로 추측

dbsrlskfdk commented 1 year ago

확실히 다른 모델도 작업을 해봐야할 것 같은데, KLUE로 Pretrain 된 KLUE 베이스 모델이 성능 끌어올리기는 무난한 것 같아요. 휘민님이 저번처럼 다른 모델 실험도 주도적으로 해주시면 좋겠습니다!

dbsrlskfdk commented 1 year ago

Base 모델들 성능 저하 문제점 때문에 이 모델들은 심사에서 탈락하게 되었습니다. 다음 기회를 노려보세요.