search

LC1332 / Chat-Haruhi-Suzumiya

Chat凉宫春日, An open sourced Role-Playing chatbot Cheng Li, Ziang Leng, and others.
Apache License 2.0
1.85k stars 164 forks source link

ChatGLM2版的本地部署 #41

Closed MoidzzZ closed 1 year ago

MoidzzZ commented 1 year ago

请问本地部署能用int4的ChatGLM2吗 我尝试了一下好像会有RuntimeError: Only Tensors of floating point and complex dtype can require gradients

LC1332 commented 1 year ago

这个我们还没有试过-o-应该感觉可能不行

MoidzzZ commented 1 year ago

谢谢，我去试试多卡部署能不能行

MoidzzZ commented 1 year ago

我最开始尝试使用int4是因为显存不够 但我按照Chat GLM2那边issues的操作后，好像可以在10G的卡上跑了，虽然不知道代价是什么 如果想使用13G显存以下的卡跑Chat GLM２的可以看看这个，大概是torch2的更新 https://github.com/THUDM/ChatGLM2-6B/issues/33

MoidzzZ commented 1 year ago

之前没有注意到2.0那边的项目下有提到Chat GLM2暂时用不了，大概是类似的问题，可以试试这个解决方案