Open BIT-Xu opened 1 year ago
是的,单卡A100 40G显存条件下可以跑通全部流程。 实际上多卡也一样,目前代码实现,多卡也是数据并行,模型还是单卡需要全部加载
------------------ 原始邮件 ------------------ 发件人: "Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO" @.>; 发送时间: 2023年10月27日(星期五) 凌晨0:54 @.>; @.***>; 主题: [Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO] [BUG/Help] 请问作者是在单卡A100 40G显存条件下跑通全部流程的吗?包括后续的PPO阶段(需要同时塞两个模型) (Issue #2)
Is there an existing issue for this?
I have searched the existing issues
Current Behavior
请问作者是在单卡A100 40G显存条件下跑通全部流程的吗?包括后续的PPO阶段(需要同时塞两个模型)
Expected Behavior
No response
Steps To Reproduce
如题
Environment
python -c "import torch; print(torch.cuda.is_available())"
) :Anything else?
No response
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>
大佬您好,请问把两个adapter分别加载到两张显卡上的做法可行吗?
理论上是能跑起来, 不过不太建议这么做,不同卡之间数据需要通信,在两张卡上需要来回读数据和传输,效率非常低。 而且你代码改起来估计也挺费劲
------------------ 原始邮件 ------------------ 发件人: "Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO" @.>; 发送时间: 2023年11月18日(星期六) 晚上9:04 @.>; @.**@.>; 主题: Re: [Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO] [BUG/Help] 请问作者是在单卡A100 40G显存条件下跑通全部流程的吗?包括后续的PPO阶段(需要同时塞两个模型) (Issue #2)
大佬您好,请问把两个adapter分别加载到两张显卡上的做法可行吗?
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
好的,谢谢大佬
Is there an existing issue for this?
Current Behavior
请问作者是在单卡A100 40G显存条件下跑通全部流程的吗?包括后续的PPO阶段(需要同时塞两个模型)
Expected Behavior
No response
Steps To Reproduce
如题
Environment
Anything else?
No response