web_demo_belle生成结果时有大段重复的问题

[JiayiFu]

我把demo_belle跑起来尝试了几个case，生成的结果会出现大段的重复，我测试了两个Query都有这个问题。 比如：

`User：鲁迅是谁？

GolaxyBot：鲁迅(1881年9月25日-1936年10月19日)，原名周樟寿，字豫山，是中国现代著名的文学家、思想家、革命家、翻译家、社会活动家、民主斗士。他的作品包括小说、散文、杂文、诗歌等多种文体，对中国现代文学和思想的发展产生了深远的影响。他被誉为“中国现代文学的奠基人之一”，也是中国近代史上最伟大的作家之一。他的作品被翻译成多种语言，广泛传播到世界各地，对中国文化的传播和发展做出了重要的贡献。鲁迅的作品和思想影响了整个中国现代史，对中国社会和文化的现代化进程产生了深远的影响。

扩展资料：

鲁迅是中国现代文学和思想的奠基人之一，他的作品深刻地揭示了当时中国社会的黑暗面和人民的苦难，对中国现代文学和思想的发展产生了深远的影响。他的作品包括小说、散文、杂文、诗歌等多种文体，包括《狂人日记》、《阿Q正传》、《药》、《孔乙己》、《祝福》等著名的作品。

鲁迅在文学上以其独特的视角和深刻的思想，揭示了当时中国社会的黑暗面和人民的苦难。他的作品对当时中国社会和文化的现代化进程产生了深远的影响，对中国现代文学和思想的发展产生了深远的影响。

鲁迅在思想方面，他提出了许多有深刻意义的思想和观点，如“文化革命”、“民主”、“人道主义”等。这些思想和观点对中国现代思想的发展产生了深远的影响。

鲁迅是一位伟大的文学家和思想家，他的作品和思想对中国现代史产生了深远的影响，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。

扩展资料：

鲁迅是中国现代文学的奠基人之一，他的作品深刻地揭示了当时中国社会的黑暗面和人民的苦难。他的作品包括小说、散文、杂文、诗歌等多种文体，包括《狂人日记》、《阿Q正传》、《药》、《孔乙己》、《祝福》等著名的作品。

鲁迅在文学上以其独特的视角和深刻的思想，揭示了当时中国社会的黑暗面和人民的苦难。他的作品对当时中国社会和文化的现代化进程产生了深远的影响，对中国现代文学和思想的发展产生了深远的影响。

鲁迅在思想方面，他提出了许多有深刻意义的思想和观点，如“文化革命”、“民主”、“人道主义”等。这些思想和观点对中国现代思想的发展产生了深远的影响。

鲁迅是一位伟大的文学家和思想家，他的作品和思想对中国现代史产生了深远的影响，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影响了整个中国现代史，对中国现代文学和思想的发展产生了深远的影响。他是一位伟大的作家和思想家，他的思想影`

[JiayiFu]

补充：web_demo_test.py 也有这个问题，但是重复的内容少一些。

`User：鲁迅是谁？

InstructGLM：鲁迅(1881年9月25日-1936年10月19日)，原名周树人，字豫山，是中国现代著名的文学家、思想家、革命家、民主斗士和翻译家。他的作品深刻地揭示了中国社会的黑暗面，影响了中国现代文学和思想的发展，被誉为“中国现代文学的奠基人之一”。他的代表作包括《狂人日记》、《阿Q正传》、《彷徨》、《呐喊》等。他的思想影响了中国现代文学、思想、艺术和文化，对中国的现代化进程产生了深远的影响。

鲁迅在文学、艺术、政治等领域都有很高的成就。他在文学上主张“文学即社会批判”，提倡现实主义和象征主义，揭示了中国社会的黑暗面和人性的扭曲。他的小说《狂人日记》被认为是中国现代小说的经典之作，对中国现代文学的发展产生了深远的影响。他在艺术上以“形式追随内容”为指导思想，致力于将现实主义和象征主义相结合，创造了独具特色的艺术风格。他的政治观点和反抗精神也深深地影响了中国现代化进程。

鲁迅是一位伟大的思想家、文学家、革命家和艺术家，他的作品和思想至今仍然被广泛传颂和研究。

以上为简要介绍，如有遗漏，请指正。谢谢。

(注：以上信息来源于《鲁迅全传》等资料)。

以上。

(注：以上为简要介绍，如有遗漏，请指正。谢谢。)

(注：以上为简要介绍，如有遗漏，请指正。谢谢。)

(注：以上为简要介绍，如有遗漏，请指正。谢谢。)

(注：以上为简要介绍，如有遗漏，请指正。谢谢。)

(注：以上为简要介绍，如有遗漏，请指正。谢谢。)

(注：以上为简要介绍，如有遗漏，请指正。谢谢。)`

[feyxong]

我也有遇到这个问题，应该是modeling_chatglm的代码还是存在bug。

[yanqiangmiffy]

这个是tokenizer的eos_token_id和model_eos_id不一致

[chouife]

你好，这个问题你有解决吗？用了你的开源checkpoint也会出现这个问题

[yanqiangmiffy]

torch.set_default_tensor_type(torch.cuda.HalfTensor)
model = ChatGLMForConditionalGeneration.from_pretrained("../../pretrained_models/chatglm-6b/",
                                                        trust_remote_code=True, device_map='auto')
model.config.eos_token_id=20002

[ray-008]

俺也一样！咋搞啊。我用你的开源模型没问题。我是自己准备的很小量的数据集：

{"context": "指令: 你叫什么名字\n答案: ", "target": "你好，我叫小帅，来自火星"}
{"context": "指令: 你的名字\n答案: ", "target": "你好，我的名字是小帅，来自火星"}
{"context": "指令: 你是谁\n答案: ", "target": "你好，我是小帅，来自火星"}
{"context": "指令: 你来自哪里\n答案: ", "target": "你好，我是小帅，来自火星"}
{"context": "指令: 你从哪里来\n答案: ", "target": "你好，我是小帅，来自火星"}
{"context": "指令: 你好\n答案: ", "target": "你好，我是小帅，来自火星"}
{"context": "指令: hi\n答案: ", "target": "你好，我是小帅，来自火星"}
{"context": "指令: hello\n答案: ", "target": "你好，我是小帅，来自火星"}
{"context": "指令: 你叫啥\n答案: ", "target": "你好，我是小帅，来自火星"}
{"context": "指令: 你好呀\n答案: ", "target": "你好，我是小帅，来自火星"}

[980202006]

20002不是结束标志吧？ @yanqiangmiffy

[yanqiangmiffy]

20002不是结束标志吧？ @yanqiangmiffy

对的，现在官方文件和权重修改了，应该是2

[yanqiangmiffy]

[980202006]

好的，谢谢其他需要改吗