请问如果单纯使用zeroth-order向前优化少量batch（只要体现出一定的优化效果）的话要怎么实现

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)

MIT License

3.04k stars 369 forks source link

Closed CharonsPluto closed 1 year ago

CharonsPluto commented 1 year ago

请问如果不使用其他微调方法，仅仅用zeroth-order，比如用俞洋老师的Zoopt包，能否直接用于对chatglm的零阶微调，如果能的话实现思路是什么

yuanzhoulvpi2017 commented 1 year ago

不清楚，没试过😃

CharonsPluto commented 1 year ago

不清楚，没试过😃

谢谢🥰，找到了个实例，感觉可以参考 https://github.com/princeton-nlp/MeZO