search

git-cloner / llama2-lora-fine-tuning

llama2 finetuning with deepspeed and lora
https://gitclone.com/aiit/chat/
MIT License
157 stars 14 forks source link

llama2-13B和llama2-70b所需要的显卡配置 #3

Open batindfa opened 11 months ago

batindfa commented 11 months ago

您好！需要多少显卡呀？

little51 commented 11 months ago

我没有试过。按7B的推算，13B半精度应该需要24G显存的显卡，全精度需要32G显存，70B得A100（80G），而且得多块卡。因为我手头没有大显存设备，所以也不能给出精确的配置，建议在阿里云按小时开GPU主机测试。