硬件要求

[xfdd123]

完成tutorial中 的项目要求怎样配置的GPU?

[Lordog]

各章教程所需的最低GPU配置不尽相同，在float32精度下，各模型推理的显存占用如下：

Ch1，微调与部署，BERT模型，参数<1B，建议显存2G

Ch2，提示学习与思维链调用api即可，无需GPU

Ch3，知识编辑，gpt2-xl，1.5B，建议显存4G

Ch4，模型水印，Baichuan-7B，建议显存16G

Ch5，模型水印，Llama-2-7b-chat-hf，建议显存16G

Ch6，多模态模型，Vicuna模型，参数7B，建议显存16G

Ch7，大模型智能体安全调用api即可，无需GPU

若对模型进行量化，可降低显存要求。

1. 自行量化：使用llama.cpp对模型进行量化，然后运行量化后的模型。
2. 直接搜索模型的量化版本（后缀gguf）进行下载（例：量化后的Llama），运行量化过的模型。