Open Darknessrky opened 2 months ago
使用Extract Representations部分的命令:
sh scripts/save_reps.sh 0_forward belief sh scripts/save_reps.sh 0_forward action sh scripts/save_reps.sh 0_backward belief
Mistral-7B-Instruct-v0.2和deepseek-llm-7b-chat在显存24G的单张3090上放不下,如何配置可以在多卡加载模型
Hi, 可以看看https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2 这里的讨论或者用CPU运行。
使用Extract Representations部分的命令:
Mistral-7B-Instruct-v0.2和deepseek-llm-7b-chat在显存24G的单张3090上放不下,如何配置可以在多卡加载模型