Open delian11 opened 2 months ago
您好,使用原始代码在2张A100 80G上面微调qwen,显存占用两张卡上都只有919M,但是在数据加载过程中?内存占用一直在增加,直到180多G后内存爆了,程序终止。请问这个问题怎么解? 训练log:
内存占用:
多大的qwen?
qwen-vl, 7b
bsz 可以调一下?他的词表有 100k 左右所以最后的activation很大,bsz=1 看看能不能跑起来吧,我记得 80G 是可以跑到 per_device_batch_size=4 的,然后调 gradient_accumulation_step 来保证 global_batch_size
您好,使用原始代码在2张A100 80G上面微调qwen,显存占用两张卡上都只有919M,但是在数据加载过程中?内存占用一直在增加,直到180多G后内存爆了,程序终止。请问这个问题怎么解? 训练log:![image](https://github.com/TideDra/VL-RLHF/assets/36758049/09277b55-ea0a-4cfd-875b-792f457441a2)
内存占用:![image](https://github.com/TideDra/VL-RLHF/assets/36758049/2bf270e8-6352-4ac3-8107-bd02f2eb8e9b)