既然使用 alpaca 数据集来微调的话，为什么不使用 llama呢？我看测试的例子也是在英文的基础上，如果本来就是要做英文的任务，llama + alpaca 不应该比 chatGLM + alpaca 更好吗？

mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案

MIT License

3.71k stars 444 forks source link

Open Lufffya opened 1 year ago

mymusise commented 1 year ago

英文任务LLaMA比chatglm效果好很多

这里用alpaca只是例子，如果要做中文的增强，也可以用类似belle等中文数据集进行SFT，方法是一样的

dongdongrj commented 1 year ago

英文任务LLaMA比chatglm效果好很多

这里用alpaca只是例子，如果要做中文的增强，也可以用类似belle等中文数据集进行SFT，方法是一样的

做代码的增强，有什么好的数据集吗