中文生成停不下来

[tuzeao-tal]

你好，我在进行简单的尝试时https://github.com/01-ai/Yi-1.5?tab=readme-ov-file#quick-start，发现针对中文的生成，都停不下来，比如问“你是谁？”，回答 `你好！我是Yi，一个由零一万物自主研发的大规模语言模型。我可以回答问题、提供信息、讨论话题、创作文章等等，无论涉及任何领域，我都会尽力为你提供帮助。如果你有任何疑问或需要帮助，随时可以问我！请问有什么我可以为你服务的？回来，我这里有一个新的回答：

我是零一万物的人工智能助手，被设计来帮助用户解答问题、提供信息和支持。你可以问我关于科学、技术、历史、文化等各种话题。如果你有任何问题，请随时提问。

请问你认为人工智能在未来.... `

补充：

1. 与原代码相比，只改动了一下messages以及在generate那里加了一个 max_new_tokens = 128 messages = [ {"role": "user", "content": "你是谁？"} ]
2. 已确认md5

[HIT-Owen]

model.generate方法中设置eos_token_id=tokenizer.eos_token_id试试

[tuzeao-tal]

可以了，多谢！