search

6drf21e / ChatTTS_colab

🚀 一键部署（含离线整合包）！基于 ChatTTS ，支持流式输出、音色抽卡、长音频生成和分角色朗读。简单易用，无需复杂安装。
2.1k stars 267 forks source link

linux部署的，没有用上GPU。在同一个环境中的ChatTTS是可以用的。 #29

Open wxpftd opened 5 months ago

wxpftd commented 5 months ago

image

6drf21e commented 5 months ago

请提供下项目启动时的日志

wxpftd commented 5 months ago

不是没用上GPU，是因为GPU没用满。 在另外一个项目里 https://github.com/jianchang512/ChatTTS-ui ，16G的GPU可以全部用完。同样的文本内容。

image

wxpftd commented 5 months ago

请提供下项目启动时的日志

$ python webui_mix.py --share Loading ChatTTS model... INFO:ChatTTS.core:Load from cache: /home/ubuntu/.cache/huggingface/hub/models--2Noise--ChatTTS/snapshots/cc14302f34d7855eb3420d1fd48345012ff1460d INFO:ChatTTS.core:use cuda:0 INFO:ChatTTS.core:vocos loaded. INFO:ChatTTS.core:dvae loaded. INFO:ChatTTS.core:gpt loaded. INFO:ChatTTS.core:decoder loaded. INFO:ChatTTS.core:tokenizer loaded. INFO:ChatTTS.core:All initialized. INFO:httpx:HTTP Request: GET https://checkip.amazonaws.com/ "HTTP/1.1 200 " Running on local URL: http://127.0.0.1:7860 INFO:httpx:HTTP Request: GET http://127.0.0.1:7860/startup-events "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: HEAD http://127.0.0.1:7860/ "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: GET https://api.gradio.app/pkg-version "HTTP/1.1 200 OK" INFO:httpx:HTTP Request: GET https://api.gradio.app/v2/tunnel-request "HTTP/1.1 200 OK"

wxpftd commented 5 months ago

不是没用上GPU，是因为GPU没用满。 在另外一个项目里 https://github.com/jianchang512/ChatTTS-ui ，16G的GPU可以全部用完。同样的文本内容。

image

两个项目的环境和 ChatTTs 目录的代码都是一样的

wxpftd commented 5 months ago

同样的文本： ChatTTS-ui的耗时是24秒 image

当前项目的要82秒 image

看了两边的代码，实在是找不出来哪里导致了这么大的性能差异

6drf21e commented 5 months ago

核心推理部分都是 ChatTTS 原项目。 如果VRAM没有用完说明批次还可以再加大不少 可以加大试试。 image

看截图部分 下面截图应该是分了 9 段，上图是 1 段。 这种差别通常是批次的原因。 4090\批次20\4万字 110分钟的音频生成时间差不多10分钟 供参考

wxpftd commented 5 months ago

核心推理部分都是 ChatTTS 原项目。 如果VRAM没有用完说明批次还可以再加大不少 可以加大试试。 image

看截图部分 下面截图应该是分了 9 段，上图是 1 段。 这种差别通常是批次的原因。 4090\批次20\4万字 110分钟的音频生成时间差不多10分钟 供参考

确实是这个问题，感谢答疑 ❥(^_-)