qwen1.5-32b long text input issue

[pujiang2018]

could you pls give more details with examples?

[zhm-algo]

在对 32B 进行了错误边缘检测后发现，当模型的输入文本大小大于 1.5K 以上就会出现，生成异常的问题。 如果输入文本大小在 1.5k-4k 这个区间内， 会不断地循环输出错误内容。 如果输入文本大小大于 4K 时， 模型响应结果是不断地输出回车符。

输入使用prompt.json 文件中 qwen 对应的8192/4096，可以复现问题 https://github.com/intel/xFasterTransformer/blob/main/benchmark/prompt.json

[pujiang2018]

@marvin-Yu How about this issue, any finding?

[marvin-Yu]

The latest version does not reproduce the issue， @zhm-algo you can try the latest version again.

[pujiang2018]

Let's close since 2 weeks passed. @zhm-algo pls reopen it if the issue is still there.