Closed abbhay closed 10 months ago
使用2个V100进行单机多卡微调的时候出现了进程被杀 旨在sh代码里面加了 --include localhost:0,1 请问大佬这种是什么原因列
应该是你的cpu内存不够导致进程被kill了,尝试安装github最新版SAT:
git clone https://github.com/THUDM/SwissArmyTransformer
cd SwissArmyTransformer
pip install .
新版对cpu内存进行了优化,在你的程序里from_pretrained函数加入from_pretrained(..., overwrite_args={'model_parallel_size': 1})
即可使用cpu内存优化模式。
FYI: 进一步优化内存,把args.device = 'cpu'
改成args.device = 'cuda'
。