search

ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.53k stars 175 forks source link

模型训练只使用到了单个GPU #247

Closed GZJAS closed 1 year ago

GZJAS commented 1 year ago

实验环境是4卡A100，使用最新的代码库，CUDA_LAUNCH_BLOCKING=1 python3 train.py 或者 python3 train.py都只使用了第0块GPU

ssbuild commented 1 year ago

检查下对应配置的 deivces 是否为4.