cdfmlr / muvtuber

Makes your AI vtuber
445 stars 75 forks source link

能否通过调用其他的程序来实现语音输出? #36

Closed RAINighty closed 1 year ago

RAINighty commented 1 year ago

由于azure精简版自定义文本转语音项目1.有时限2.效果不好,而专业版又需要成为Microsoft管理的客户和合作伙伴,所以能否调用本地的如so-vits-svcvits之类的程序来提供语音输出服务?

cdfmlr commented 1 year ago

可以,但我不会😭。你可以自己实现一个 SayerService gRPC 服务。然后在 muvtuberdriver 的配置中,把现在用的 externalsayer 的地址改成新服务的地址即可。

具体的实现可以参考:

(这两个都是 Go 实现的,但可以用任何语言。推荐 go 或者 python,因为 proto 的 gen 里目前也只提供了这两种的存根,其他的要重新加)

P.S. 现在的设计中,语音合成、语音输出是分离的两个模块。sayer 服务负责 文本 -> 音频,而另一个 audioview 模块负责 播放音频。

RAINighty commented 1 year ago

【AI虚拟主播】sovits+chatglm大佬我在b站上看到了这个视频 btw能把示例模型换成自己的模型吗?

cdfmlr commented 1 year ago

没看懂😂

RAINighty commented 1 year ago

没看懂😂

就是能不能把皮套换成自己的

cdfmlr commented 1 year ago

就是能不能把皮套换成自己的

@RAINighty 可以的,但现在每个模型需要写对应的驱动(在 live2ddriver 里)。