请提供GGUF,并支持OLLAMA

deepseek-ai / DeepSeek-V2

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

MIT License

3.47k stars 143 forks source link

Open taozhiyuai opened 4 months ago

taozhiyuai commented 4 months ago

请提供GGUF,并支持OLLAMA

fufay commented 4 months ago

附议

AnShengqiang commented 4 months ago

这么大的模型，用ollama 4bit可能都得120G内存以上。

有没有勇士尝试过？

wujohns commented 4 months ago

这么大的模型，用ollama 4bit可能都得120G内存以上。

有没有勇士尝试过？

看激活参数有多少吧，21b的激活参数的话，根据以往的经验，我的x99跑到3-5token/s都可以尝试摸一把的，内存是管饱的

taozhiyuai commented 4 months ago

这么大的模型，用ollama 4bit可能都得120G内存以上。

有没有勇士尝试过？

我的可以跑

haichuan1221 commented 4 months ago

有没有跑起来的呢? 是否可以分享一下gguf文件呢

100ZZ commented 4 months ago

跑不起来；网上提供的GGUF都没法运行，下载原始模型通过最新llama.cpp可以转换成gguf，但是还是'error loading model architecture: unknown model architecture: 'deepseek2''"