search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.81k stars 351 forks source link

请问如果单纯使用zeroth-order向前优化少量batch（只要体现出一定的优化效果）的话要怎么实现 #158

Closed CharonsPluto closed 10 months ago

CharonsPluto commented 10 months ago

请问如果不使用其他微调方法，仅仅用zeroth-order，比如用俞洋老师的Zoopt包，能否直接用于对chatglm的零阶微调，如果能的话实现思路是什么

yuanzhoulvpi2017 commented 10 months ago

不清楚，没试过😃

CharonsPluto commented 10 months ago

不清楚，没试过😃

谢谢🥰，找到了个实例，感觉可以参考 https://github.com/princeton-nlp/MeZO