Closed zyds closed 1 year ago
作者好,想问下train_deepspeed.py可以实现Lora+DeepSpeed多机多卡训练吗,目前网上能看到的大多都是单机多卡的版本,对这块确实很困惑
作者好,想问下train_deepspeed.py可以实现Lora+DeepSpeed多机多卡训练吗,目前网上能看到的大多都是单机多卡的版本,对这块确实很困惑