search

THUDM / CodeGeeX2

CodeGeeX2: A More Powerful Multilingual Code Generation Model
https://codegeex.cn
Apache License 2.0
7.63k stars 533 forks source link

文档上写mac 可以使用int4量化后的模型，但是实际并不行 #43

Open vaxilicaihouxian opened 1 year ago

vaxilicaihouxian commented 1 year ago

量化依赖cuda，但是mac 上没有这个。 难受-_-

Stanislas0 commented 1 year ago

量化依赖cuda，但是mac 上没有这个。 难受-_-

直接下载量化后的模型：https://huggingface.co/THUDM/codegeex2-6b-int4

vaxilicaihouxian commented 1 year ago

下载了这个量化的模型，好像只能用chatglm.cpp运行，直接用python运行的话还是会由于缺少cuda而无法运行，对吧？