关于流水线并行的一个问题

liucongg / ChatGLM-Finetuning

基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等

2.63k stars 292 forks source link

Open Cheung-Z opened 4 months ago

Cheung-Z commented 4 months ago

作者您好，最近在跑流水线并行的代码，并尝试在qwen上复现，但发现一个问题，pipemodel需要基于basemodel加载，以7B模型为例，相当于内存中最多的时候需要加载2 14g，是这样吗？感觉想在8 32G v100上跑qwen 32B的希望破灭了....