Open tommickey2020 opened 11 months ago
@li-plus 麻烦处理一下,谢谢!
我也这样
我正在分析convert.py的源代码
奇怪
我刚才把transformers降级到4.27.1,但AutoModel加载模型后提示transformers版本4.23.1
用chatglm2-6b-int4就不会退出了,但是报错 RuntimeError: Only Tensors of floating point and complex d @li-plus
已解决,很抱歉打扰您
我发个新issue告诉大家
帮大家避雷(
执行convert.py,直接就退出了,不能成功转换。 (chatglmcpp) F:\llmbak\chatglm.cpp-main>python chatglm_cpp/convert.py -i F:\llmbak\chatglm2\chatglm2-6b -t q8_0 -o F:\llmbak\chatglm2\chatglm2-6b-q8-0-ggml.bin Loading checkpoint shards: 0%| | 0/7 [00:00<?, ?it/s] (chatglmcpp) F:\llmbak\chatglm.cpp-main>