search

FreedomIntelligence / HuatuoGPT

HuatuoGPT, Towards Taming Language Models To Be a Doctor. (An Open Medical GPT)
Apache License 2.0
1.07k stars 139 forks source link

Huatuo-13B #18

Closed ihongxx closed 1 year ago

ihongxx commented 1 year ago

请问一下在加载13B模型需要多大的显存呢？我是用24G显存在AutoModelForCausalLM.from_pretrained加载模型时直接killed了，但是查看显存当时显存还未占用，请问这是什么原因？谢谢

StevenZHB commented 1 year ago

你好，13B的模型至少需要26G的空间装下模型，所以24G的显存可能不行，你可以试试7B的模型。

ihongxx commented 1 year ago

好的，谢谢

heheda166 commented 1 year ago

请问一下在加载13B模型需要多大的显存呢？我是用24G显存在AutoModelForCausalLM.from_pretrained加载模型时直接killed了，但是查看显存当时显存还未占用，请问这是什么原因？谢谢

请问你是在什么环境下apply_delta的呢，我这边总是报 If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.