Closed code-8888 closed 1 year ago
CPU 算得比较慢吧,你可以看一下有没有 CPU 占用
主要是内存,需要32G内存,CPU吃不满。但这个模式下非常慢。
主要是内存,需要32G内存,CPU吃不满。但这个模式下非常慢。
内存不够的话可以用量化模型 https://huggingface.co/THUDM/chatglm-6b-int4
主要是内存,需要32G内存,CPU吃不满。但这个模式下非常慢。
内存不够的话可以用量化模型 https://huggingface.co/THUDM/chatglm-6b-int4
我用的就是你这个int4的
页面起来了 然后也加载问题了 但一直不回答
你好,请问你解决了吗?
你好,请问你解决了吗?
并没有 还是一直不回答 可能是内存16G运算不出来?
主要是内存,需要32G内存,CPU吃不满。但这个模式下非常慢。
内存不够的话可以用量化模型 https://huggingface.co/THUDM/chatglm-6b-int4
用的就是int4 为什么还是不回答呢 是因为16G的内存 还是因为cpu运算不出来么
The dtype of attention mask (torch.int64) is not bool
这个问题我在跑chatglm模型时没有遇到,但在跑VisualGLM恰巧遇到了,对于我个人而言,造成这种现象的原因是Gradio模块在使用服务器暂存临时文件时被拒,更改权限或修改gradio临时文件地址或许有帮助
你好,请问你解决了吗?
针对我的情况,问题已解决,参考链接 https://github.com/THUDM/VisualGLM-6B/issues/29 希望对你有帮助
blueskydata
解决了不,这个attention mask不是bool的报错
你好,请问你解决了吗?
并没有 还是一直不回答 可能是内存16G运算不出来?
楼主解决了吗?我这也是一样的问题
gradio的版本问题,用3.39.0版本问题就解决了。参考:https://github.com/THUDM/ChatGLM2-6B/issues/570
gradio的版本问题,用3.39.0版本问题就解决了。参考:THUDM/ChatGLM2-6B#570
好的,谢谢你
Is your feature request related to a problem? Please describe.
No response
Solutions
代码如下
Additional context
No response