chat-v2版本偶尔出现回复中包含英文单词。

Shenzhi-Wang / Llama3-Chinese-Chat

This is the first Chinese chat model specifically fine-tuned for Chinese through ORPO based on the Meta-Llama-3-8B-Instruct model.

311 stars 17 forks source link

Open openmynet opened 6 months ago

openmynet commented 6 months ago

Q: 张敏的爸爸有三个孩子，其中大儿子叫大明，小儿子叫小明，那么张敏的爸爸的二儿子叫什么？ A: 张敏的爸爸的二儿子就是张敏本人。因为题目中提到的是张敏的爸爸有三个孩子，并且提到了大儿子和小儿子的名字是大明和小明，那么剩下一个孩子就是张敏 herself。

如果使用 LooksJuicy/ruozhiba 的数据进行训练，建议对该数据集进行清洗，里面有些回答是片面，错误的。

Shenzhi-Wang commented 6 months ago

感谢您的反馈和建议！我们训练数据集中并没有包含弱智吧的数据集。

但我们在测试过程中也发现偶尔会出现这种情况，一种可能的解决方法是在system prompt中加入一句：

"If the prompt doesn't specify a language, you should reply in the same language as the prompt."

在我的测试中，您所用的prompt应该就不会出现夹带英文的情况了。

Shenzhi-Wang commented 5 months ago

可以尝试一下我们的v2.1的版本，这个问题减少了很多。