Feat: Low Rank Adaptation(LoRA) 적용

[swbaek97]

Why we do

• 지금까지 generation기반 MRC 모델 성능을 볼 때, pre-trained 모델 크기가 클수록 더 좋은 성능을 보임
• But, 큰 모델은 우리가 가진 하드웨어의 한계로 학습이 불가능
• So, 큰 모델의 파라미터를 수정하지 않고 성능을 유지하며 효율적으로 학습 시킬 수 있는 Parameter Efficient Fine-Tuning(PEFT) 필요

What we do

• PEFT 방법론 중 하나인 LoRA를 적용

What we gain

• 우리의 GPU 환경에 올라가지 못하는 큰 모델을 활용해 학습 시킬 수 있음