请问如何通过CPU运行该模型

xverse-ai / XVERSE-13B

XVERSE-13B: A multilingual large language model developed by XVERSE Technology Inc.

Apache License 2.0

649 stars 58 forks source link

Closed jiaowobaba02 closed 4 months ago

jiaowobaba02 commented 1 year ago

我的电脑的显存很小，才2GB，但是我挺想运行该模型的，之前在Baichuan.cpp项目的帮助下，我通过CPU运行了百川模型，我想，该模型应该也会有类似的解决方案，毕竟这么好的模型如果能火起来，对此功能需求的用户应该不少

underspirit commented 4 months ago

可以尝试使用llama.cpp, 已支持XVERSE模型