llama3 8B中文微调模型Llama3-Chinese-8B-Instruct 存在对生成的答案一直重复的问题

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用

https://llama.family

14.01k stars 1.26k forks source link

llama3 8B中文微调模型Llama3-Chinese-8B-Instruct 存在对生成的答案一直重复的问题 #330

Open Ryan-0805 opened 6 months ago

Ryan-0805 commented 6 months ago

提问任何问题，都会一直重复自己的答案，直到达到模型的max_token；

TimchaStudio commented 6 months ago

遇到同样的bug

Zhouxinyu668 commented 6 months ago

我也遇到了同样的问题

Zhouxinyu668 commented 6 months ago

作者不考虑回应一下吗？

hito0512 commented 6 months ago

@TimchaStudio 这个是用哪个框架部署的？

TimchaStudio commented 6 months ago

@hito0512 chat.oaiui.com

这个问题还没有解决

ZhichengQian1 commented 5 months ago

我尝试了一下，也存在这个问题

nbet commented 5 months ago

me too too~~

3h2b commented 4 months ago

大语言生成回答时一般会先生成一个开始符号类似于《start》然后输出正文，紧接着在结束时输出一个类似于《end》的特殊字符作为判断此句话结束。在这个具体问题里结束符用的可能是《\s》。出现这个问题可能是模型在训练中文语料库时更换了结束字符导致原来判断生成结束的符号失去作用。大伙可以自行添加判断生成结束的标识符可以解决这个问题。

chhaig commented 3 months ago

调整 temperature的大小，设置小于0.3以下。