ollama qwen2.5:72b-instruct 不断循环生成问题和答案

jaychj commented 2 weeks ago

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

[X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

[X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

使用ollama run qwen2.5:72b-instruct，交互式问问题时出现了系统自动生成下一个问题，自己回答再自动生成下一个这样循环的情况，持续了1-2小时，被我终止了，第一次出现是这样

期望行为 | Expected Behavior

No response

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):

备注 | Anything else?

No response

jaychj commented 2 weeks ago

check every <|endoftext|>Human: issue.md

jaychj commented 2 weeks ago

复现了，似乎如果我让它写代码，就会触发问题，这次是这样的 cat Desktop/input.md | ollama run qwen2.5:72b-instruct "\n\nplease tell me how to do it by showing code, database schema, NLP etc. all the techs" > Desktop/output.md input.md是我前面一个问题，我做附件也上传了，只是想给更复杂的prompt而已，而且这个input.md也是这个模型生成的答案 input.md

目前这个output.md已经包含很多循环的问题了，检索每一个<|endoftext|>Human:可以看到 output.md 然后我被动停止了程序，似乎自己无法停止

jaychj commented 2 weeks ago

os：macOS15.0 芯片是M3 Max ，128G内存 python：3.12.6

QwenLM / Qwen