3张特斯拉 P40 24G 报错，不加载模型。

[JemZhu]

可以进到顺利打开webui。 输入文字后报错。

RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

后台看2张显卡没有任何负载， cudatool 11.6 操作系统 WIn11 + AnaConda，torch 1.13.1+cu116

使用streamlit加载。 streamlit run moss_web_demo_streamlit.py --server.port 8888 -- --model_name fnlp/moss-moon-003-sft --gpu 0,1

--gpu 0,1,2 1,2都试过无用， Win系统无法运行量化模型。

cuda驱动和gpu信息均正常显示，能运行minigpt-4.说明显卡也无故障。

有谁知道怎么回事吗？

[liuxunchenglxc]

和我的问题一样，我是3090的。不过我的是概率出现这个报错。首先，不是咱的显卡问题。其次，我的环境是用官方docker file配的，也不会是环境问题。推理过程用的也是官方例示代码。最后，我猜测大概率问题出在模型上。