wzpan / wukong-robot

🤖 wukong-robot 是一个简单、灵活、优雅的中文语音对话机器人/智能音箱项目,支持ChatGPT多轮对话能力,还可能是首个支持脑机交互的开源智能音箱项目。
https://wukong.hahack.com/
MIT License
6.33k stars 1.34k forks source link

【功能讨论】关于极客模式的一个想法 #314

Open mawwalker opened 7 months ago

mawwalker commented 7 months ago

最近自己在工作中用了Langchain-Agent去匹配处理函数的。

有一个想法,如果是类似极客模式这种,是否可以把GPT作为整个音箱的大脑,用Agent去自动匹配需要进入的功能,唯一的问题可能是网络延时,但是体验上可能会很不错,而且开发拓展会简单一些。

在用gpt接管整个音箱的前提下,拓展功能只需要写好Agent的tool函数,写好函数的功能描述即可,举个例子:

如果要拓展一个天气查询的功能, 写好一个天气查询函数:

def query_weather(city, date_time):
    # 根据地点,时间查询天气的操作
    pass 

再根据langchain Agent添加tool的方法,把该函数的描述写清楚,比如功能,什么时候使用,入参是什么;

这样GPT会完成技能匹配任务,然后调用对应函数,返回结果。

不知道大佬怎么看,我可以先开发一个类似的plugin出来。

mawwalker commented 7 months ago

看到这个issue了,#236

我正在开发,已经通过plugin常开的形式,使用langchain接管技能匹配。目前实现了跟homeassistant联动,控制设备。

不过实测下来延时较高,除此之外体验还不错

敬请期待