search

SCIR-HI / Huatuo-Llama-Med-Chinese

Repo for BenTsao [original name: HuaTuo (华驼)], Instruction-tuning Large Language Models with Chinese Medical Knowledge. 本草（原名：华驼）模型仓库，基于中文医学知识的大语言模型指令微调
Apache License 2.0
4.31k stars 422 forks source link

如何多卡部署 #82

Closed 200109110057Wjy closed 9 months ago

200109110057Wjy commented 9 months ago

有多张 GPU，但是每张 GPU 的显存大小都不足以容纳完整的模型，怎么把模型切分在多张GPU上。

s65b40 commented 9 months ago

您好，十分抱歉，我们目前还没有为多卡部署进行优化，但已在我们的日程上