search

yihong0618 / xiaogpt

Play ChatGPT and other LLM with Xiaomi AI Speaker
MIT License
5.84k stars 813 forks source link

很高的延迟 #523

Open dvdcjw opened 1 month ago

dvdcjw commented 1 month ago

使用windows部署，没有开代理或者梯子。用的中转api。 大概有30秒延迟，感觉不是openai那边的延迟。因为问完一个问题之后要等好久console才出现这个问题，然后说完询问chatgpt之后半秒钟左右就开始回答了。 型号是LX06

xiaogpt --api_base "https://aium.cc/v1/" --openai_key "sk-**" python版本3.10

yihong0618 commented 1 month ago

是那边的延迟。。你用 qwen 试试

dvdcjw commented 1 month ago

我测试了，写了个小脚本time了一下openai延迟很低

dvdcjw commented 1 month ago

应该就是小米的延迟

dvdcjw commented 1 month ago

音响说“正在问chatgpt请稍等待的”之前的延迟很高，之后很低

dvdcjw commented 1 month ago

使用隔壁migpt测试的时候，说开启高级对话也是延迟很高，这个情况下都没有走openai。显然是小米的问题

yihong0618 commented 1 month ago

哈？我确定下稍等。

yihong0618 commented 1 month ago

我这边没问题。。。可能是你的网络问题，请不要开启梯子试试

dvdcjw commented 1 month ago

我似乎找到了问题，在通过小爱api获取最新对话的时候，api返回的不是最新的数据。延迟在于小米api更新对话。有什么办法解决吗？

dvdcjw commented 1 month ago

我在另一个项目migpt里通过把timestamp数值乘了10倍问题似乎解决了。有可能是时间不同步导致的。 我会尝试在您的项目上做出修改。如果能够成功我会发起pull request。

yihong0618 commented 1 month ago

@dvdcjw 好的，比较好奇为啥会出现这个问题，我们之前完全没遇到

dvdcjw commented 1 month ago

@dvdcjw 好的，比较好奇为啥会出现这个问题，我们之前完全没遇到

有好几个人都在issue里说延迟问题，我觉得我们可能是遇到了同一个bug

bwnjnOEI commented 2 weeks ago

描述：本地部署ollama，2*4090D，都是用的8b的模型（ openai api http://192.168.31.64:11434/... ），不可能是本地推理延迟（回答内容早已全部显示在终端），但是在朗读完回答后终端有时不会立刻显示回答完毕\n 继续对话, 或用`结束智能对话`结束对话。此时8b模型附身结束，小爱恢复了意识，过了一会而，小爱指示灯亮起之后才显示 回答完毕\n 继续对话, 或用`结束智能对话`结束对话。不确定是我错过了什么，但这是小米那头造成的延迟吗？

yihong0618 commented 2 weeks ago

描述：本地部署ollama，2*4090D，都是用的8b的模型（ openai api http://192.168.31.64:11434/... ），不可能是本地推理延迟（回答内容早已全部显示在终端），但是在朗读完回答后终端有时不会立刻显示回答完毕\n 继续对话, 或用`结束智能对话`结束对话。此时8b模型附身结束，小爱恢复了意识，过了一会而，小爱指示灯亮起之后才显示 回答完毕\n 继续对话, 或用`结束智能对话`结束对话。不确定是我错过了什么，但这是小米那头造成的延迟吗？

tts mi 有延迟么

bwnjnOEI commented 2 weeks ago

描述：本地部署ollama，2*4090D，都是用的8b的模型（ openai api http://192.168.31.64:11434/... ），不可能是本地推理延迟（回答内容早已全部显示在终端），但是在朗读完回答后终端有时不会立刻显示回答完毕\n 继续对话, 或用`结束智能对话`结束对话。此时8b模型附身结束，小爱恢复了意识，过了一会而，小爱指示灯亮起之后才显示 回答完毕\n 继续对话, 或用`结束智能对话`结束对话。不确定是我错过了什么，但这是小米那头造成的延迟吗？

tts mi 有延迟么

？？？ 我用的是tts mi，等我用部署个别的tts试试

yihong0618 commented 2 weeks ago

感觉是和楼上一样的问题。我们确定下谢谢

bwnjnOEI commented 2 weeks ago

改了baidu、火山和edge的tts配置，都没发出声，可能是我哪里出问题了但是终端没报错可以运行就是没声。看了下tts没声的issue没得到有效帮助。

bwnjnOEI commented 2 weeks ago

描述：本地部署ollama，2*4090D，都是用的8b的模型（ openai api http://192.168.31.64:11434/... ），不可能是本地推理延迟（回答内容早已全部显示在终端），但是在朗读完回答后终端有时不会立刻显示回答完毕\n 继续对话, 或用`结束智能对话`结束对话。此时8b模型附身结束，小爱恢复了意识，过了一会而，小爱指示灯亮起之后才显示 回答完毕\n 继续对话, 或用`结束智能对话`结束对话。不确定是我错过了什么，但这是小米那头造成的延迟吗？

tts mi 有延迟么

感觉应该是回答的文本过长的问题，短的回答可以迅速返回回答完毕\n 继续对话, 或用`结束智能对话`结束对话。另外，长回答过程中再唤醒小爱也不行。