Closed wikeeyang closed 1 month ago
刚自己尝试了一下,采用 ChatGLM3-6B-Base 官方的方式,模型加载换成 .quantize(4) 参数,把模型路径下的 quantization.py 复制到 kolors\models 目录下,加装 cpm-kernels 依赖,可以成功运行。显存立马占用少了 5 - 6GB,不知官方是否认可这种方式?这种方式会对模型整体的提示词理解和图片输出质量有啥影响?请大佬指点,谢谢!
减少显存的有效方式,语言模型quantize理论上效果会有损,具体损失情况我们也没做过测算,供参考
多谢多谢!显存紧张,只是试试。😁👌
quantization.py
这个 quantization.py文件在哪个路径下,没找到
模型的 text_encoder 路径下没有吗?
模型的 text_encoder 路径下没有吗?
好的找到了,感谢
如题,如果能引入这个方式,将节省大量显存,在有限的 GPU 显存内,绘制更大、更高质量的图片。谢谢!
多谢多谢!显存紧张,只是试试。😁👌
请问不使用comfyui ,官方代码应该怎么修改才能达到您的效果呢
如题,如果能引入这个方式,将节省大量显存,在有限的 GPU 显存内,绘制更大、更高质量的图片。谢谢!
多谢多谢!显存紧张,只是试试。😁👌
请问不使用comfyui ,官方代码应该怎么修改才能达到您的效果呢
前面说的很详细了啊:采用 ChatGLM3-6B-Base 官方的方式,模型加载换成 .quantize(4) 参数,把模型路径text_encoder下的 quantization.py 复制到 kolors\models 目录下,加装 cpm-kernels 依赖,可以成功运行。
如题,如果能引入这个方式,将节省大量显存,在有限的 GPU 显存内,绘制更大、更高质量的图片。谢谢!