search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.81k stars 351 forks source link

chatglm-6b v2 lora微调：能否在“code02_训练模型全部流程” 的基础上只更改加载模型 #137

Open AlanTubring opened 1 year ago

AlanTubring commented 1 year ago

看见大佬发布了 chatglm-6b v2 的lora微调，和 code02_训练模型全部流程.ipynb 相差很大，加了很多的功能，就更复杂了。 所以想问问大佬，如果不使用多卡，和v1版本一样只需要简单的微调，能否在“code02_训练模型全部流程” 的基础上只更改 加载模型，换成 chatglm-6b v2的模型。 万分感谢！！！！！

yuanzhoulvpi2017 commented 1 year ago
  1. 您好，非常理解您的需求，因为ipynb格式的文件，相较于bash脚本，更加容易看懂和理解。
  2. 其实不考虑训练的脚本形式，他们本质上都是一样的：处理数据、模型加载、lora处理、开始训练等。
  3. 脚本看起来有点复杂，但是容纳了更多的场景和情况。
  4. 您可以无缝的从之前的版本切换到当前最新的版本，因为数据格式都是一模一样的。门槛已经足够低啦
  5. 祝你加油～