显存不够，手动加.quantize(8)也不行

SCIR-HI / Med-ChatGLM

Repo for Chinese Medical ChatGLM 基于中文医学知识的ChatGLM指令微调

Apache License 2.0

961 stars 153 forks source link

Closed LifeNT closed 1 year ago

LifeNT commented 1 year ago

请问要如何量化运行该模型，没有找到输入量化参数的位置。

zhangwanshen commented 1 year ago

请问在哪里加.quantize(8)

cweihua commented 1 year ago

我也显存不够运行不了，不知道有没有量化方法或者量化模型

s65b40 commented 1 year ago

您好，量化方法可以参考chatglm官方仓库