idootop / mi-gpt

🏠 将小爱音箱接入 ChatGPT 和豆包,改造成你的专属语音助手。
MIT License
7.86k stars 817 forks source link

对于小爱音箱 Pro,MiGPT 选择性忽略新的消息 #177

Closed LyCecilion closed 2 months ago

LyCecilion commented 2 months ago
2024-08-26 15:00:12 > mi-gpt@4.1.0 start
2024-08-26 15:00:12 > node ./app.js
2024-08-26 15:00:12 
2024-08-26 15:00:12 
2024-08-26 15:00:12 
2024-08-26 15:00:12 / $$      /$$ /$$   /$$$$$$  /$$$$$$$ /$$$$$$$$$
2024-08-26 15:00:12 | $$$    /$$$|__/ /$$__  $$| $$__  $$|__  $$__/
2024-08-26 15:00:12 | $$$$  /$$$$ /$$| $$  \__/| $$  \ $$   | $$   
2024-08-26 15:00:12 | $$ $$/$$ $$| $$| $$ /$$$$| $$$$$$$/   | $$   
2024-08-26 15:00:12 | $$  $$$| $$| $$| $$|_  $$| $$____/    | $$   
2024-08-26 15:00:12 | $$\  $ | $$| $$| $$  \ $$| $$         | $$   
2024-08-26 15:00:12 | $$ \/  | $$| $$|  $$$$$$/| $$         | $$   
2024-08-26 15:00:12 |__/     |__/|__/ \______/ |__/         |__/                         
2024-08-26 15:00:12                                                                                                                  
2024-08-26 15:00:12          MiGPT v4.1.0  by: del.wang
2024-08-26 15:00:12

使用最新版的、部署在 Docker 上的 MiGPT 和 1.88.103 版本的 小爱音箱 Pro,MiGPT 会忽略一部分(似乎)特定的消息,并且其播放的静音音频也会打断小米 AI 大模型的回复。以下为可能有用的日志。

Docker Log

上图共包含 2 次连续对话。其中:

为方便分析,这里附上 小爱音箱 App 的对话历史。

Screenshot 1 Screenshot 2 Screenshot 3
screenshot_1 screenshot_2 screenshot_3

以下为后续的部分测试数据,对勾为正常接管,叉号为无法回答。

对于不同领域的问题:

❌ 你认为人工智能会有真正的情感吗? ❌ 元素周期律是什么? ✔ 请给我讲一个故事。

对于相同领域的问题,换一种问法也会导致 MiGPT 间歇性接管:

✔ 你还记得我吗? ✔ 你还记得我 ✔ 你记得我吗? ❌ 你还记得我的什么?

并且在本人的环境中,「小爱同学,闭嘴」无法使小爱同学停止回答。

这样的忽略与是否为连续唤醒似乎无关。若需要进入连续唤醒阶段,被忽略的消息即使具有 wakeUpKeywords,也无法被 MiGPT 接管并切换到连续唤醒模式。若处于连续唤醒状态,对于 MiGPT 未成功接管的消息,MiGPT 会使用静音音频打断小米 AI 大模型的回复,直到连续唤醒超时。对于非连续唤醒状态,被忽略的消息即使具有 callAIKeywords,也无法被 MiGPT 接管,并最终由小米 AI 大模型回复。

该问题仅在本人的 1.88.103 版本的 小爱音箱 Pro 上复现。MiGPT 在 小爱触屏音箱 上工作良好。

luckykong commented 2 months ago

我也遇到了这个问题,有些问题,用设定好的关键词,无法触发 MiGPT

idootop commented 2 months ago

@LyCecilion 多谢反馈,还有你提供的详细信息,点赞 。👍

我觉得是跟最近小爱升级大模型有关,升级后的大模型回复消息没有被识别到,所以 MiGPT 没有做回应。

后面有时间我看下能否适配这次更新带来的变更

idootop commented 2 months ago

小米新加了一种 LLM 的消息类型,正在适配

telegram-cloud-photo-size-5-6226696217279184302-x

idootop commented 2 months ago

最新版本已修复该问题 👉 v4.2.0

不过需要注意的是,根据我的观察:

目前新增的小爱音箱自己的 LLM 消息,查询到的时间较长,会有比较明显的小爱抢答现象发生。

暂无更好的解决方案,请知晓。

LyCecilion commented 2 months ago

感谢开发者的努力,辛苦了(递茶)