search

jerry1993-tech / Cornucopia-LLaMA-Fin-Chinese

聚宝盆(Cornucopia): 中文金融系列开源可商用大模型，并提供一套高效轻量化的垂直领域LLM训练框架(Pretraining、SFT、RLHF、Quantize等)
https://zhuanlan.zhihu.com/p/633736418
Apache License 2.0
588 stars 61 forks source link

您好,目前的模型A10,24G显存可以支持预测功能吗? #18

Closed yuanqingye closed 10 months ago

yuanqingye commented 11 months ago

作者您好,首先非常致敬您的工作,也感谢开源 很感兴趣,想看看模型效果,但是不知购买A10这样一个相对有些老GPU能否支持该模型预测吗?目前暂时不考虑训练的问题 因为毕竟也是不少的钱,所以想问下这个配置是否能支持,再进行购买

jerry1993-tech commented 10 months ago

作者您好,首先非常致敬您的工作,也感谢开源 很感兴趣,想看看模型效果,但是不知购买A10这样一个相对有些老GPU能否支持该模型预测吗?目前暂时不考虑训练的问题 因为毕竟也是不少的钱,所以想问下这个配置是否能支持,再进行购买

谢谢你的喜爱和支持，24G显存的GPU用于推理和低秩微调都足够的，给您一些模型推理时所需显存的占用情况：6B、7B模型大约12～14G显存占用，13B模型大约22G显存占用；后续我们也会发布量化版本的模型，需要显存更少。 希望我的回答对您有帮助～

yuanqingye commented 10 months ago

作者您好,首先非常致敬您的工作,也感谢开源 很感兴趣,想看看模型效果,但是不知购买A10这样一个相对有些老GPU能否支持该模型预测吗?目前暂时不考虑训练的问题 因为毕竟也是不少的钱,所以想问下这个配置是否能支持,再进行购买

谢谢你的喜爱和支持，24G显存的GPU用于推理和低秩微调都足够的，给您一些模型推理时所需显存的占用情况：6B、7B模型大约12～14G显存占用，13B模型大约22G显存占用；后续我们也会发布量化版本的模型，需要显存更少。 希望我的回答对您有帮助～

好的,十分謝謝您的回復! 關於微調方面,這邊有沒有什麽推薦的顯存配置呢?