finetune效果不能复现

deepseek-ai / DeepSeek-Coder

DeepSeek Coder: Let the Code Write Itself

https://coder.deepseek.com/

MIT License

6.85k stars 473 forks source link

Closed kylesong307 closed 11 months ago

kylesong307 commented 1 year ago

在基础模型上，使用同样规模的2B的进化数据进行finetune，但不能复现humaneval的效果。可以提供相关建议么

guoday commented 12 months ago

这跟sft数据和学习率有关，你可以尝试使用更好的代码sft开源数据，并调整学习率