希望团队能继续支持qwen.cpp

[awtestergit]

qwen大模型目前用下来是国内非常好的模型，在qwen.cpp之前直接用HF的transformer效果有限，token速度慢尤其是最后一些tokens极慢。在cpp出来后有如神助，能充分发挥qwen模型（尤其是14b以上的模型），自己测下来比其他国内大模型好用。

qwen.cpp也有些bug，大家在issue中有提及，可惜团队目前不打算更新cpp了？

qwen cpp merge到llama cpp后，没有什么好的python binding。llama-cpp-python适配起来效果有限，而且同样的prompt，尤其在长context情况下，该binder输出很差，无法与qwen cpp比，目前我已放弃。

如果没有好的binder，会影响大家使用qwen大模型。希望团队能考虑继续支持qwen cpp！

[wanshichenguang]

不如希望chatglm.cpp可以支持qwen，官方的也没怎么更新

[awtestergit]

不如希望chatglm.cpp可以支持qwen，官方的也没怎么更新

刚去留了言，希望能够支持qwen模型。 https://github.com/li-plus/chatglm.cpp/issues/146

[awtestergit]

真可惜，qwen模型目前在中文效果真算不错的，可惜官方不重视qwen.cpp，直接用transformer调用qwen太慢。我已经在测试其他模型看看能否替代。希望官方能重视qwen cpp。 @simonJJJ