多机多卡训练是否有相关资料呢？

hiyouga / ChatGLM-Efficient-Tuning

Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调

Apache License 2.0

3.66k stars 471 forks source link

Closed yifan-chen-2020 closed 1 year ago

yifan-chen-2020 commented 1 year ago

我看到了作者提供的deepspeed教程进行full finetuning，是否有accelerate 的相关资料

hiyouga commented 1 year ago

问谷歌

Alwin4Zhang commented 1 year ago

我看到了作者提供的deepspeed教程进行full finetuning，是否有accelerate 的相关资料

accelerate+deepspeed多机多卡训练 - Alwin阿布的文章 - 知乎 https://zhuanlan.zhihu.com/p/647502458 刚实现了