search

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4(V)
MIT License
2.91k stars 334 forks source link

执行convert.py，直接就退出了，不能成功转换。 #143

Open tommickey2020 opened 11 months ago

tommickey2020 commented 11 months ago

执行convert.py，直接就退出了，不能成功转换。 (chatglmcpp) F:\llmbak\chatglm.cpp-main>python chatglm_cpp/convert.py -i F:\llmbak\chatglm2\chatglm2-6b -t q8_0 -o F:\llmbak\chatglm2\chatglm2-6b-q8-0-ggml.bin Loading checkpoint shards: 0%| | 0/7 [00:00<?, ?it/s] (chatglmcpp) F:\llmbak\chatglm.cpp-main>

catmeowjiao commented 9 months ago

@li-plus 麻烦处理一下，谢谢！

catmeowjiao commented 9 months ago

我也这样

catmeowjiao commented 9 months ago

我正在分析convert.py的源代码

catmeowjiao commented 9 months ago

奇怪

catmeowjiao commented 9 months ago

我刚才把transformers降级到4.27.1，但AutoModel加载模型后提示transformers版本4.23.1

catmeowjiao commented 9 months ago

用chatglm2-6b-int4就不会退出了，但是报错 RuntimeError: Only Tensors of floating point and complex d @li-plus

catmeowjiao commented 9 months ago

已解决，很抱歉打扰您

catmeowjiao commented 9 months ago

我发个新issue告诉大家

catmeowjiao commented 9 months ago

帮大家避雷（