python cli_demo.py 16gb电脑内存加载模型直接卡死了

THUDM / VisualGLM-6B

Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型

Apache License 2.0

4.08k stars 415 forks source link

Open 459936800 opened 1 year ago

459936800 commented 1 year ago

ChatGLM-6B ChatGLM-6B 可以低配置部署VisualGLM-6B 不知道有没有怎么设置？

Sleepychord commented 1 year ago

请阅读readme，里面写了可以使用--quant 4进行低配置运行，我感觉没啥效果损失