issues
search
Xunzi-LLM-of-Chinese-classics
/
XunziALLM
Apache License 2.0
229
stars
22
forks
source link
请问仅仅做推理的话需要多大的显存呢?能提供一下硬件和软件的要求吗
#7
Open
czb2133
opened
5 months ago
lclcjj
commented
5 months ago
不做量化至少需要16GB显存,建议显卡显存在24GB以上
不做量化至少需要16GB显存,建议显卡显存在24GB以上