Open vaxilicaihouxian opened 1 year ago
量化依赖cuda,但是mac 上没有这个。 难受-_-
直接下载量化后的模型:https://huggingface.co/THUDM/codegeex2-6b-int4
下载了这个量化的模型,好像只能用chatglm.cpp运行,直接用python运行的话还是会由于缺少cuda而无法运行,对吧?
量化依赖cuda,但是mac 上没有这个。 难受-_-