[Model] Electra 계열 모델 맛보기

[dbsrlskfdk]

현재 상황과 문제점

• Bert 계열 모델의 실험만 해왔음
• 앙상블 하기엔 충분하지 않음.
• 다른 계열의 모델 성능 향상이 필요할 듯

개선 제안 사항

• Electra 계열 모델을 실험해보고있습니다.
• [x] monologg/KoElectra-Base
  • https://huggingface.co/monologg/koelectra-base-v3-discriminator
  • https://github.com/monologg/KoELECTRA
  • Data : 20G 사전학습
  • Vocab Length : 35,000
• [x] tunib/electra-ko-base
  • https://huggingface.co/tunib/electra-ko-base
  • https://github.com/tunib-ai/tunib-electra
  • https://tunib.tistory.com/entry/TUNiB-Electra-%EA%B3%B5%EA%B0%9C?category=899987
  • Data : 100G 사전학습
  • Vocab Length : 32,000

성능 개선 기대점

• BERT 계열 모델과는 다른 표현력을 기대할 수 있을 것.
• 하지만 Base 크기의 모델밖에 없어서, 성능향상을 크게 시킬 수 있을지 살짝 의문.

[dbsrlskfdk]

• Electra계열 모델들은 Learning Rate를 크게 가져가야지 학습이 잘 되는 것 같음.

21번 : tunib/electra-ko-base 20번 : monologg/KoElectra-Base

학습이 더 진행될 수 있을 것 같아, Epoch을 크게 가져가봤는데 의미없는 듯. Epoch 5만 설정하고 좋은 성능 안나오면 바로 버리는 게 맞다. 하이퍼파라미터 튜닝이 더욱 필요할 것 같다.