零一万物等大模型输出截断

MartialBE / one-hub

OpenAI 接口管理 & 分发系统，改自songquanpeng/one-api。支持更多模型，加入统计页面，完善非openai模型的函数调用。

https://one-hub.xiao5.info/

Apache License 2.0

1.15k stars 235 forks source link

零一万物等大模型输出截断 #266

Open ken0311 opened 4 months ago

ken0311 commented 4 months ago

例行检查

我已确认目前没有类似 issue
我已确认我已升级到最新版本
我已完整查看过项目 README，尤其是常见问题部分
我理解并愿意跟进此 issue，协助测试和提供反馈
我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

问题描述 在使用零一万物所有模型流式输出长文本时，输出截断，默认没有设置max_token

复现步骤 使用零一万物输出800token 以上的内容，可能会中断 预期结果 请求时为部分模型添加max_token

ken0311 commented 4 months ago

补充内容

最后返回结果：data: {"id":"**","object":"chat.completion.chunk","created":***,"model":"yi-large","choices":[{"delta":{"content":"。"},"index":0,"finish_reason":"length"}],疑似因为长度问题，截断了输出（没有添加max_token）,添加后则没有问题

MartialBE commented 4 months ago

01 不是和OpenAI一样的格式么？我没有做任何处理，所以这个max_token参数也是自己需要传递的吧？

ken0311 commented 4 months ago

确实需要自行传递，但客户端如果没有传递，输出内容长会中断，而OpenAI似乎不会。是否考虑为部分模型自动添加max_token参数（没有传递的情况下）。不确定实现起来是否有难度

bahuzh commented 4 months ago

01万物的问题，不传递默认好像512，现在不知道多少。