[BUG/Help] 请问作者是在单卡A100 40G显存条件下跑通全部流程的吗？包括后续的PPO阶段（需要同时塞两个模型）

[BIT-Xu]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

请问作者是在单卡A100 40G显存条件下跑通全部流程的吗？包括后续的PPO阶段（需要同时塞两个模型）

Expected Behavior

No response

Steps To Reproduce

如题

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

[Pillars-Creation]

是的，单卡A100 40G显存条件下可以跑通全部流程。 实际上多卡也一样，目前代码实现，多卡也是数据并行，模型还是单卡需要全部加载

------------------ 原始邮件 ------------------ 发件人: "Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO" @.>; 发送时间: 2023年10月27日(星期五) 凌晨0:54 @.>; @.***>; 主题: [Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO] [BUG/Help] 请问作者是在单卡A100 40G显存条件下跑通全部流程的吗？包括后续的PPO阶段（需要同时塞两个模型） (Issue #2)

Is there an existing issue for this?

I have searched the existing issues

Current Behavior

请问作者是在单卡A100 40G显存条件下跑通全部流程的吗？包括后续的PPO阶段（需要同时塞两个模型）

Expected Behavior

No response

Steps To Reproduce

如题

Environment

• OS: - Python: - Transformers: - PyTorch: - CUDA Support (python -c "import torch; print(torch.cuda.is_available())") :

Anything else?

No response

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

[mockyd]

大佬您好，请问把两个adapter分别加载到两张显卡上的做法可行吗？

[Pillars-Creation]

理论上是能跑起来， 不过不太建议这么做，不同卡之间数据需要通信，在两张卡上需要来回读数据和传输，效率非常低。 而且你代码改起来估计也挺费劲

------------------ 原始邮件 ------------------ 发件人: "Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO" @.>; 发送时间: 2023年11月18日(星期六) 晚上9:04 @.>; @.**@.>; 主题: Re: [Pillars-Creation/ChatGLM-RLHF-LoRA-RM-PPO] [BUG/Help] 请问作者是在单卡A100 40G显存条件下跑通全部流程的吗？包括后续的PPO阶段（需要同时塞两个模型） (Issue #2)

大佬您好，请问把两个adapter分别加载到两张显卡上的做法可行吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[mockyd]

好的，谢谢大佬