Lora+DeepSpeed多机多卡的问题 - Githubissues

yanqiangmiffy / InstructGLM

ChatGLM-6B 指令学习|指令数据|Instruct

MIT License

654 stars 51 forks source link

Lora+DeepSpeed多机多卡的问题 #15

Closed zyds closed 1 year ago

zyds commented 1 year ago

作者好，想问下train_deepspeed.py可以实现Lora+DeepSpeed多机多卡训练吗，目前网上能看到的大多都是单机多卡的版本，对这块确实很困惑