Open Cheung-Z opened 3 months ago
作者您好, 最近在跑流水线并行的代码,并尝试在qwen上复现,但发现一个问题,pipemodel是基于basemodel来加载的,以7B模型为例,相当于内存中最多的时候需要加载2 14g,是这样吗?(虽然后续使用了del model可以释放出内存 感觉想在8 32G v100上跑qwen 32B的希望破灭了....
作者您好, 最近在跑流水线并行的代码,并尝试在qwen上复现,但发现一个问题,pipemodel是基于basemodel来加载的,以7B模型为例,相当于内存中最多的时候需要加载2 14g,是这样吗?(虽然后续使用了del model可以释放出内存 感觉想在8 32G v100上跑qwen 32B的希望破灭了....