search

jianchang512 / ChatTTS-ui

一个简单的本地网页界面，使用ChatTTS将文字合成为语音，同时支持对外提供API接口。A simple native web interface that uses ChatTTS to synthesize text into speech, along with support for external API interfaces.
https://pyvideotrans.com
Other
5.7k stars 642 forks source link

显卡要求 #185

Open liuyanqun0815 opened 1 month ago

liuyanqun0815 commented 1 month ago

显卡使用云上的Nvidia Tesla T4，内存16G, 测试语音合成速度还是慢呢，大概1s的语音推理需要1s image 需要调什么参数吗，内存使用也提不上去

liuyanqun0815 commented 1 month ago

企业微信截图_17207532739577 企业微信截图_17207532961449

jianchang512 commented 1 month ago

1s没测试意义，合成1分钟的音频

liuyanqun0815 commented 1 month ago

image 测试很多了，都是视频速率， 平均1s的音频需要推理1s

jianchang512 commented 1 month ago

升级到 0.98，打开 .env 将 merge_size 调大点，比如10，然后再试试

liuyanqun0815 commented 1 month ago

调到16，测试几笔效果没有变化，，另外同时打开两个页面，每个页面都输入内容，同时进行语音合成， 处理时长加倍了，单线程跑的吗？ 测试单个合成请求 image 同时测试两个合成请求 image

另外开启了多线程，没有效果 image

liuyanqun0815 commented 1 month ago

image 当前版本28最新的

jianchang512 commented 1 month ago

多线程没意义，除非有n个显卡并发，目前ChatTTS内核并不支持

如果调到16也无效，就只能这样了，或许ChatTTS后续内核升级会改善吧

smallsee952 commented 1 month ago

为何推理的速度不能跑满GPU，我的1650的笔记本4G显卡跑的速度还没有MX150的2G显卡，1650只能跑25it/s，MX150都能跑30it/s，后面通过作者的方法打开 .env 将 merge_size 调大点，比如10，是快了一些，但是我觉得这个不应该是满速跑的，使用GPT-SoVITS都可以跑到45it/s，是不是Chat-TTS还不支持那么快的推理速度呢？如果知道的话，可以回复一下。

jianchang512 commented 1 month ago

这个属于ChatTTS内核问题，目前就是跑不满，等ChatTTS优化吧

https://github.com/2noise/ChatTTS/issues

smallsee952 commented 1 month ago

这个属于ChatTTS内核问题，目前就是跑不满，等ChatTTS优化吧

https://github.com/2noise/ChatTTS/issues

那只能等待原作者完善这个问题