search

Xunzi-LLM-of-Chinese-classics / XunziALLM

Apache License 2.0
229 stars 22 forks source link

请问仅仅做推理的话需要多大的显存呢？能提供一下硬件和软件的要求吗 #7

Open czb2133 opened 5 months ago

lclcjj commented 5 months ago

不做量化至少需要16GB显存，建议显卡显存在24GB以上