lss233 / chatgpt-mirai-qq-bot

🚀 一键部署!真正的 AI 聊天机器人!支持ChatGPT、文心一言、讯飞星火、Bing、Bard、ChatGLM、POE,多账号,人设调教,虚拟女仆、图片渲染、语音发送 | 支持 QQ、Telegram、Discord、微信 等平台
GNU Affero General Public License v3.0
12.97k stars 1.55k forks source link

[BUG] VITS 文字转语音报错 #541

Closed lingboshuiyue closed 1 year ago

lingboshuiyue commented 1 year ago

提交 issue 前,请先确认:

表现
照着文档 接入 vits 文字转语音功能,在拉取最新的 docker 镜像 lss233/moegoe-simple-api:latest 并进行相关配置后,无法读取到 speakers 的数据:

{
    "HuBert-VITS": [],
    "VITS": [],
    "W2V2-VITS": []
}

将 config.py 进行映射后,读取数据正常,但接入 qq 后尝试进行语音转换时报错:

{
    "HuBert-VITS": [],
    "VITS": [
        {
            "0": "綾地寧々"
        },
        {
            "1": "在原七海"
        },
        {
            "2": "小茸"
        },
        {
            "3": "唐乐吟"
        }
    ],
    "W2V2-VITS": []
}

image

运行环境:

复现步骤
描述你是如何触发这个 BUG 的

  1. 拉取最新docker 镜像 lss233/moegoe-simple-api:latest
  2. 照着文档进行 vits 语音功能接入
  3. 无法读取到 speakers 数据,将config.py 进行映射后获取数据正常,但接入qq 时报错

预期行为
能正常切换语音和语音转换

截图
配置文件 chatgpt-mirai-qq-bot/config.cfg image moegoe-config.json image moegoe-simple-api/config.py image

其他内容

kkkk24juastin commented 1 year ago

+1

tamakyi commented 1 year ago

+1

gudong-mengxi commented 1 year ago

+1

Haibersut commented 1 year ago

收到,目前缓解措施如下: 将位于./utils下的vits_tts.py的第24行由

return json_dict.get(str(given_id), False)

改为

return given_id
tamakyi commented 1 year ago

image 现在能用了,但是在返回的语音中一直会夹带“还有一些我不会说,抱歉”

Haibersut commented 1 year ago

image 现在能用了,但是在返回的语音中一直会夹带“还有一些我不会说,抱歉”

已知问题,因为存在多个不是zh或者ja的字符串就会被替换,如果你想的话可以把110行的 "[ZH]还有一些我不会说,抱歉[ZH]"替换为"",这个后续版本会优化

gudong-mengxi commented 1 year ago

收到,目前缓解措施如下: 将位于./utils下的vits_tts.py的第24行由

return json_dict.get(str(given_id), False)

改为

return given_id

image 修改vits_tts.py后出现新的问题 image

gudong-mengxi commented 1 year ago

问题已解决,将return json_dict.get(str(given_id), False)改为return json_dict[given_id].get(str(given_id), False)即可

Enderbear commented 1 year ago

问题已解决,将return json_dict.get(str(given_id), False)改为return json_dict[given_id].get(str(given_id), False)即可

感谢,情况和你相同,按照你的方法改暂时没问题了 给后面有相同情况的人说下,我的缓解方式是,在[MoeGoe-Simple-API]的code里下载config.py并进行配置,在本项目的code下位于./utils下载vits_tts.py并按照上述方法修改,然后把这两个文件上传到服务器端,并修改docker-compose.yaml进行映射,之后语音问题就得到了缓解