text_encoder 能引入 ComfyUI 方式，加载 4bit 的 chatglm3-4bit.safetensors 吗？

[wikeeyang]

如题，如果能引入这个方式，将节省大量显存，在有限的 GPU 显存内，绘制更大、更高质量的图片。谢谢！

[wikeeyang]

刚自己尝试了一下，采用 ChatGLM3-6B-Base 官方的方式，模型加载换成 .quantize(4) 参数，把模型路径下的 quantization.py 复制到 kolors\models 目录下，加装 cpm-kernels 依赖，可以成功运行。显存立马占用少了 5 - 6GB，不知官方是否认可这种方式？这种方式会对模型整体的提示词理解和图片输出质量有啥影响？请大佬指点，谢谢！

[wikeeyang]

[lzneu]

减少显存的有效方式，语言模型quantize理论上效果会有损，具体损失情况我们也没做过测算，供参考

[wikeeyang]

多谢多谢！显存紧张，只是试试。😁👌

[JoshonSmith]

quantization.py

这个 quantization.py文件在哪个路径下，没找到

[wikeeyang]

模型的 text_encoder 路径下没有吗？

[JoshonSmith]

模型的 text_encoder 路径下没有吗？

好的找到了，感谢

[libai-lab]

如题，如果能引入这个方式，将节省大量显存，在有限的 GPU 显存内，绘制更大、更高质量的图片。谢谢！

多谢多谢！显存紧张，只是试试。😁👌

请问不使用comfyui ，官方代码应该怎么修改才能达到您的效果呢

[wikeeyang]

如题，如果能引入这个方式，将节省大量显存，在有限的 GPU 显存内，绘制更大、更高质量的图片。谢谢！

多谢多谢！显存紧张，只是试试。😁👌

请问不使用comfyui ，官方代码应该怎么修改才能达到您的效果呢

前面说的很详细了啊：采用 ChatGLM3-6B-Base 官方的方式，模型加载换成 .quantize(4) 参数，把模型路径text_encoder下的 quantization.py 复制到 kolors\models 目录下，加装 cpm-kernels 依赖，可以成功运行。