nlpai-lab / KULLM

☁️ 구름(KULLM): 고려대학교에서 개발한, 한국어에 특화된 LLM
http://nlp.korea.ac.kr/
Apache License 2.0
571 stars 71 forks source link

[질문] 구름v2 fine tuning 할 때 구체적인 hyperparameter가 궁금합니다. #22

Open gyuwon12 opened 1 year ago

gyuwon12 commented 1 year ago

안녕하세요, 튜닝에 있어 구체적인 파라미터가 궁금하여 질문을 남깁니다.

구름 v2를 재현해보고 싶어 repo에 포함 된 train_polyglot.sh 파일로 튜닝을 하려고 하는데요, 혹시 구체적인 하이퍼파라미터를 알 수 있을까요? lora config 구성(lora_r, lora_alpha, lora_target_modules 등)과 같은 부분들까지 궁금합니다!

감사합니다.