search

ripperhe / Bob

Bob 是一款 macOS 平台的翻译和 OCR 软件。
https://bobtranslate.com
8.93k stars 511 forks source link

bob插件不支持流式输出 #518

Closed shouyiwang closed 1 year ago

shouyiwang commented 1 year ago

现在ChatGPT的API反应慢，都是一点一点给你信息。要等全部信息都出来，可能要几秒甚至更长的时间。 如果是支持流式输出，效率就提高不少。因为瞬间就可以看到开头的部分。

现在Bob自己的ChatGPT翻译是流式输出的，但插件不是。Bob自己的ChatGPT翻译又不让修改Prompt，想让它干点别的就不可能了。。。

ripperhe commented 1 year ago

你好，Bob 1.8.0 版本支持自定义 Prompt 了，也提供给插件流式输出的能力了。

Superoutman commented 1 year ago

你好，Bob 1.8.0 版本支持自定义 Prompt 了，也提供给插件流式输出的能力了。

请问大佬，流式输出的开关设置在哪里？想关掉流式输出，突然找不到开关了😂

ripperhe commented 1 year ago

@Superoutman 不支持关闭，关掉的目的是什么？

Superoutman commented 1 year ago

@Superoutman 不支持关闭，关掉的目的是什么？

输出较长的段落时，感觉上又有些慢。另外GPT模型升级后，直接输出的话是不是延迟感也没那么强了（猜测）

ripperhe commented 1 year ago

@Superoutman 不支持关闭，关掉的目的是什么？

输出较长的段落时，感觉上又有些慢。另外GPT模型升级后，直接输出的话是不是延迟感也没那么强了（猜测）

@Superoutman 之前测试的结果是加不加流式对整体总时间差别不大，但是没有流式体感会慢很多

Superoutman commented 1 year ago

@Superoutman 不支持关闭，关掉的目的是什么？

输出较长的段落时，感觉上又有些慢。另外GPT模型升级后，直接输出的话是不是延迟感也没那么强了（猜测）

@Superoutman 之前测试的结果是加不加流式对整体总时间差别不大，但是没有流式体感会慢很多

OK，那以测试为准更好