search

hiyouga / LLaMA-Factory

Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)
https://arxiv.org/abs/2403.13372
Apache License 2.0
33.2k stars 4.08k forks source link

使用 qwen2 7b int8 在 webui 中 chat 时所有的回答都是乱码 #4223

Closed onlyjokers closed 4 months ago

onlyjokers commented 4 months ago

Reminder

System Info

(Llama_Factory) PS D:\LLM\LLaMA-Factory> llamafactory-cli env bin D:\conda\envs\Llama_Factory\lib\site-packages\bitsandbytes\libbitsandbytes_cuda121.dll

Reproduction

{10D17DAB-BBEB-4361-B785-112EC37AF0BD} {73D40746-E95E-416B-AF43-49BEE15C6C46}

Expected behavior

No response

Others

使用qwen1.5 7b int8 进行对话的时候也会发生这种乱码问题

GaoHZ1 commented 4 months ago

你使用qwen2 7b-chat试过吗，这种可以推理回答吗

GaoHZ1 commented 4 months ago

我估计应该是LLM模型本身的问题，现在就可以运行了，感谢！！！ image

GaoHZ1 commented 4 months ago

我之前尝试了llama-8b的一个中文模型，也是乱码，换个模型或者换个下载的途径。

onlyjokers commented 4 months ago

我估计应该是LLM模型本身的问题，现在就可以运行了，感谢!! 图像

哎，这个模型是直接从modelscope 上下载的嘛？

godcrying commented 4 months ago

我的qwen2 7b instruct也是乱码，modelscope和huggingface上的sha256一模一样，不知道哪里有问题。

hiyouga commented 4 months ago

保证模型文件与 https://huggingface.co/Qwen/Qwen2-7B-Instruct 一致

onlyjokers commented 4 months ago

保证模型文件与 https://huggingface.co/Qwen/Qwen2-7B-Instruct 一致

谢谢提示~但是我从 HuggingFace 直接进行了下载，SHA256也保持一致，但是它依然会输出乱码。 后续尝试中我使用了未经量化的模型（qwen2 7b instruct），它就变得正常了，但是只要是量化模型它就会出现这种乱码情况qwen1.5 7b int8 和 qwen2 7b int8 ） 感觉这和模型没有关系，而是和使用量化有关系

JIANGTUNAN commented 3 weeks ago

谢谢提示~但是我从HuggingFace直接进行了下载，SHA256也保持一致，但是它依然会输出乱码。 后续尝试中我使用了自定义的模型（qwen2 7b指令），它就变得正常了，但是只要是量化模型它就会出现这种乱码情况 qwen1.5 7b int8 和 qwen2 7b int8 ） 感觉这和模型没有关系，而是和使用量化有关系

那意思是不能推理被量化过的模型吗？