SJTU-IPADS / PowerInfer

High-speed Large Language Model Serving on PCs with Consumer-grade GPUs

MIT License

7.96k stars 412 forks source link

Open jqliu42 opened 10 months ago

jqliu42 commented 10 months ago

请教下，使用falcon-40B模型进行推理，得到以下不可读结果，是什么原因？

Gengchunsheng commented 10 months ago

与我之前遇到的问题很像，我更新了最新的代码，现在正常了。

77