zhayujie / chatgpt-on-wechat

基于大模型搭建的聊天机器人,同时支持 微信公众号、企业微信应用、飞书、钉钉 等接入,可选择GPT3.5/GPT-4o/GPT4.0/ Claude/文心一言/讯飞星火/通义千问/ Gemini/GLM-4/Claude/Kimi/LinkAI,能处理文本、语音和图片,访问操作系统和互联网,支持基于自有知识库进行定制企业智能客服。
https://docs.link-ai.tech/cow
MIT License
28.33k stars 7.53k forks source link

语音库是否可以增加ElevenLabs的TTS #1100

Open cgnannan opened 1 year ago

cgnannan commented 1 year ago

⚠️ 搜索是否存在类似issue

总结

大佬好,最近在测试咱们家的微信机器人,当前版本中,TTS体验最好的是azure,但跟ElevenLabs相比,还是稍显逊色。

就想尝试给咱家机器人factory.py增加ElevenLabs的TTS

今天在ElevenLab的官网(https://beta.elevenlabs.io/speech-synthesis) 看到他们开放了API,我这个菜鸟试图用azure或google的voice改一个ElevenLab的voice,但没有成功。

举例

1684156881205 1684156920572

动机

本想用咱家的机器人做一个微信里的幼儿外语私教项目,使用azure的tts后,做了一圈调研,普遍反应英语语音回复的质量一般,太机械,没有抑扬顿挫和情绪。所以就尝试去找其他tts解决方案,发现ElevenLabs的TTS效果还不错,就想着是否能把它集成到咱家的机器人里面。

无奈,我是个菜鸟i,看了官网的API,弄半天也没成功,就想起来请教大佬们啦。

lanvent commented 1 year ago

建议先用一个单独的py文件测试下api的调用,成功后再移植到项目里进行测试,可以找下官方有没有提供调用的demo

mari1995 commented 1 year ago

在提交中 https://github.com/zhayujie/chatgpt-on-wechat/pull/1105

cgnannan commented 1 year ago

在提交中 #1105

感谢大佬PR,真是雪中送炭啊。已经git pull,成功接到Elvenlabs的语音了。

zwdzwdzwd commented 8 months ago

顺便问一下如何选择语音回复的声音模板,openai官方显示有alloy, echo, fable, onyx, nova, shimmer六种声音,但是默认是是alloy的声音,不知道该如何实现,谢谢

cgnannan commented 6 months ago

顺便问一下如何选择语音回复的声音模板,openai官方显示有alloy, echo, fable, onyx, nova, shimmer六种声音,但是默认是是alloy的声音,不知道该如何实现,谢谢

1.把config.py中对应openai的tts字典项拷贝到你自己的config.json中

Screen Shot 2023-12-23 at 4 26 02 PM

2.在OpenAI的官网API Reference中,确定speech可以接收的voice参数值

Screen Shot 2023-12-23 at 4 28 55 PM

3.输入IDE之前,也可以OpenAI官方的Documentation中试听

Screen Shot 2023-12-23 at 4 33 06 PM

4.将你选定的voice名,输入config.json对应的字典项