如何配置多卡运行

Walter0807 / RepBelief

[ICML 2024] Language Models Represent Beliefs of Self and Others

https://walter0807.github.io/RepBelief/

MIT License

24 stars 1 forks source link

Open Darknessrky opened 2 months ago

Darknessrky commented 2 months ago

使用Extract Representations部分的命令：

sh scripts/save_reps.sh 0_forward belief
sh scripts/save_reps.sh 0_forward action
sh scripts/save_reps.sh 0_backward belief

Mistral-7B-Instruct-v0.2和deepseek-llm-7b-chat在显存24G的单张3090上放不下，如何配置可以在多卡加载模型

Walter0807 commented 2 months ago

Hi, 可以看看https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2 这里的讨论或者用CPU运行。