Closed onlyjokers closed 4 months ago
你使用qwen2 7b-chat试过吗,这种可以推理回答吗
我估计应该是LLM模型本身的问题,现在就可以运行了,感谢!!!
我之前尝试了llama-8b的一个中文模型,也是乱码,换个模型或者换个下载的途径。
我估计应该是LLM模型本身的问题,现在就可以运行了,感谢!!
哎,这个模型是直接从modelscope 上下载的嘛?
我的qwen2 7b instruct也是乱码,modelscope和huggingface上的sha256一模一样,不知道哪里有问题。
谢谢提示~但是我从 HuggingFace 直接进行了下载,SHA256也保持一致,但是它依然会输出乱码。 后续尝试中我使用了未经量化的模型(qwen2 7b instruct),它就变得正常了,但是只要是量化模型它就会出现这种乱码情况qwen1.5 7b int8 和 qwen2 7b int8 ) 感觉这和模型没有关系,而是和使用量化有关系
谢谢提示~但是我从HuggingFace直接进行了下载,SHA256也保持一致,但是它依然会输出乱码。 后续尝试中我使用了自定义的模型(qwen2 7b指令),它就变得正常了,但是只要是量化模型它就会出现这种乱码情况 qwen1.5 7b int8 和 qwen2 7b int8 ) 感觉这和模型没有关系,而是和使用量化有关系
那意思是不能推理被量化过的模型吗?
Reminder
System Info
(Llama_Factory) PS D:\LLM\LLaMA-Factory> llamafactory-cli env bin D:\conda\envs\Llama_Factory\lib\site-packages\bitsandbytes\libbitsandbytes_cuda121.dll
llamafactory
version: 0.8.2.dev0Reproduction
Expected behavior
No response
Others
使用qwen1.5 7b int8 进行对话的时候也会发生这种乱码问题