使用DJL推理模型，部分文字乱码。

Shenzhi-Wang / Llama3-Chinese-Chat

This is the first Chinese chat model specifically fine-tuned for Chinese through ORPO based on the Meta-Llama-3-8B-Instruct model.

301 stars 16 forks source link

Open leleZeng opened 3 months ago

leleZeng commented 3 months ago

你好作者，我在使用djl环境下运行了Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf模型，推理的结果部分单词会发生乱码，

我通过debug代码发现一个UTF8的字节数组拆成两个字节数组，正常'奋'的UFT8字节编码为[-27, -91, -117]。 1715679834866 1715679834872

leleZeng commented 3 months ago

我使用了TheBloke/Llama-2-7B-Chat-GGUF 的llama-2-7b-chat.Q5_K_S.gguf模型，输出的字符是正常的。