search

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用
https://llama.family
14.01k stars 1.26k forks source link

如何 finetune 出想要的結果 ? #255

Open arthurwu4work opened 1 year ago

arthurwu4work commented 1 year ago

您好 :

我是剛接觸不久的新人，對於 LLM finetune 有一些問題想請教 我有一份約 2000 筆的 QA 資料集，希望finetune 後能夠回答出正確的答案

  1. 請問這樣的資料量(約2000筆)用作 finetune 是足夠的嗎 ? 最少需要多少的資料才是足夠的呢 ?
  2. num_train_epochs 數應該要多大 ? 程式預設為10，請問這個參數的設置是否有什麼依據 ?
  3. LLM finetune 後是否可以像傳統模型一樣可以輸出正確結果 ? 還是它只單純學習到資料的相關性，無法做出正確的回覆 ?
  4. 雖然經由一些 benchmark 可以知道其分數差異，但是卻沒辦法說明各種模型的 feature (例如:根據某指標，表示某模型只能做QA，且QA效果...等等)，根據您的研究與經驗，請問這兩種模型的能力及特色是 ? 7B 跟 13B 的模型該怎麼選 ?

謝謝您