search

SKTBrain / KoBERT

Korean BERT pre-trained cased (KoBERT)
Apache License 2.0
1.28k stars 372 forks source link

[FEATURE] optuna와 앙상블 적용방법에 대한 질의 #97

Open waikoreaweatherpjt opened 1 year ago

waikoreaweatherpjt commented 1 year ago

🚀 Feature

optuna를 통해 최적의 하이퍼 파라미터 찾기, 앙상블을 통한 성능 향상

Motivation

Bert에 optuna, 앙상블을 적용한 사례가 거의 없는데, 예제를 만들어 주셨으면 합니다.

Pitch

http://seekinginference.com/applied_nlp/distilbert.html - distillbert 에 optuna 적용 예제

Additional context