尝试加载chatglm2-6b-32k模型报错

wenda-LLM / wenda

闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题

GNU Affero General Public License v3.0

6.23k stars 810 forks source link

Closed gxandys closed 1 year ago

gxandys commented 1 year ago

32k的模型从huggingface上下的，在config.yml里改好了路径。strategy参数无论是“cuda fp16"还是改成"cuda fp32"都会报如下错误： QQ截图20230807105648 应该是刚尝试加载就出错了，显存占用也压根都没变化，还是没运行时的数。求问该怎么办呢？

sidatian1 commented 1 year ago

遇到同样问题，求官方解答

l15y commented 1 year ago

模型没下好