kangfenmao / cherry-studio

🍒 Cherry Studio is a desktop client that supports for multiple LLM providers
https://cherry-ai.com
Other
1.35k stars 75 forks source link

增加流式输出控制开关 #93

Closed neteroster closed 1 month ago

neteroster commented 1 month ago

OpenAI 的 o1 系列官方 API 是不支持流式输出的,我注意到这一点已经在刚刚被修复了。

但是一些中转平台有些 o1-mini-all 等模型,是通过逆向 ChatGPT Web 端得到的,它们是可以流式输出的,但是目前代码的逻辑应该是包含 o1- (且提供商为 OpenAI)就固定为非流式。这导致两个问题:

  1. 增加自定义提供商时,使用 o1-minio1-preview 报错。
  2. 选择提供商为默认的 OpenAI 但 Base URL 为非 OpenAI 提供商,且使用逆向模型时,无法流式输出。

希望能够为当前会话增加一个选项,设置模型是否流式输出,并且默认为:

  1. 模型包含 o1- 就默认为非流式
  2. 否则默认流式

这样使用逆向渠道的用户可以手动调为流式,且不影响正规渠道用户。

https://github.com/kangfenmao/cherry-studio/issues/90

kangfenmao commented 1 month ago

下个版本加上设置开关

neteroster commented 1 month ago

下个版本加上设置开关

感谢。Issue 正文做了一些更新,可以参考。非常好的客户端!

Yizhouuu commented 1 month ago

这个好。此前用过的很多 LLM UI 都不支持开关流式传输