search

lenML / Speech-AI-Forge

🍦 Speech-AI-Forge is a project developed around TTS generation model, implementing an API Server and a Gradio-based WebUI.
https://huggingface.co/spaces/lenML/ChatTTS-Forge
GNU Affero General Public License v3.0
711 stars 87 forks source link

[ISSUE]长文本声音会出现跳跃的情况，30s的语音，前20s一个声音，后面一个声音 #53

Closed Kedreamix closed 3 months ago

Kedreamix commented 3 months ago

阅读 README.md 和 dependencies.md

检索 issue 和 discussion

检查 Forge 版本

你的issues

[ISSUE]WEBUI中长文本声音会出现跳跃的情况，30s的语音，前20s一个声音，后面一个声音

zhzLuke96 commented 3 months ago

无法确定是哪个方面的问题

请提供更多信息以复现问题，比如输入文本，输入参数，是否有报错 并把webui左下角的版本号信息贴过来，谢谢

WangLaoShi commented 3 months ago 

这 个 [uv_break]ssect [uv_break] 岁 [uv_break] 寒 不 算 是 [uv_break] b 站 的 资 深 用 户 ， 而 [uv_break] 我 会 在 你 懂 事 ， 要 你 勇 敢 ， 要 你 出 人 头 地 ， 要 你 拼 命 往 上 爬 ， 就 是 没 有 教 你 怎 么 做 个 小 孩 。 嗯 ， 啊 ， 这 些 句 台 词 让 谢 寒 彻 底 破 防 [uv_break] ， 决 定 认 真 追 完 这 部 剧 ， 并 迅 速 安 利 给 了 所 有 姐 妹 。 [uv_break] 事 实 上 ， 正 有 不 少 谢 寒 发 现 这 部 剧 。 在 小 红 书 上 ， 这 部 剧 的 口 碑 也 还 不 错 [uv_break] ， 不 少 影 视 博 主 。 对 吧 [uv_break] 哦 [uv_break] 哦 以 我 [uv_break] 觉 得 [uv_break] 基 本 上 [uv_break] 最 大 的 剧 、 巨 好 看 的 国 产 神 剧 、 被 名 字 耽 误 的 好 剧 等 等 。 也 有 不 少 网 友 开 始 成 为 自 来 水 ， 并 磕 起 了 c p 。 就 连 女 主 的 穿 搭 也 成 为 了 小 红 书 上 的 热 门 笔 记 。 侵 刻 度 留 意 到 ， 目 前 关 于 ， 比 如 说 [uv_break] 三 悦 ， 然 后 的 影 评 笔 记 不 少 [uv_break] 已 经 超 千 点 赞 量 ， 其 中 不 乏 笔 记 [uv_break] 达 到 三 四 千 点 赞 量 [uv_break] 。 而 在 微 博 上 ， 其 开 分 当 日 话 题co [uv_break] 三 悦 有 了 新 工 作 豆 瓣 开 分 八 点 三 。 我 我 [uv_break] 其 实 这 个 [uv_break] 嗯 [uv_break] 哦 哦 对 ， [uv_break] 最 [uv_break] 那 个 [uv_break] 这 个 [uv_break] 嗯 。 [uv_break] 最 [uv_break] 的 [uv_break] 我 觉 得 [uv_break] 可 能 [uv_break] 不 少 [uv_break] 可 [uv_break]sco [uv_break] [uv_break] 类 [uv_break] 。 然 后 还 在 [uv_break] 嗯 。 我 我 我 [uv_break] 少 [uv_break] 少 [uv_break] 能 [uv_break] 的 [uv_break] 我 [uv_break] ， 然 后

audio.mp3.zip

你听听这个呢。

🍦 ChatTTS-Forge | version: v0.6.1-8-g952190f | branch: main | python: 3.10.14 | torch: 2.3.1 | ffmpeg: 7.0.1

@zhzLuke96

原文地址

zhzLuke96 commented 3 months ago 

这 个 [uv_break]ssect [uv_break] 岁 [uv_break] 寒 不 算 是 [uv_break] b 站 的 资 深 用 户 ， 而 [uv_break] 我 会 在 你 懂 事 ， 要 你 勇 敢 ， 要 你 出 人 头 地 ， 要 你 拼 命 往 上 爬 ， 就 是 没 有 教 你 怎 么 做 个 小 孩 。 嗯 ， 啊 ， 这 些 句 台 词 让 谢 寒 彻 底 破 防 [uv_break] ， 决 定 认 真 追 完 这 部 剧 ， 并 迅 速 安 利 给 了 所 有 姐 妹 。 [uv_break] 事 实 上 ， 正 有 不 少 谢 寒 发 现 这 部 剧 。 在 小 红 书 上 ， 这 部 剧 的 口 碑 也 还 不 错 [uv_break] ， 不 少 影 视 博 主 。 对 吧 [uv_break] 哦 [uv_break] 哦 以 我 [uv_break] 觉 得 [uv_break] 基 本 上 [uv_break] 最 大 的 剧 、 巨 好 看 的 国 产 神 剧 、 被 名 字 耽 误 的 好 剧 等 等 。 也 有 不 少 网 友 开 始 成 为 自 来 水 ， 并 磕 起 了 c p 。 就 连 女 主 的 穿 搭 也 成 为 了 小 红 书 上 的 热 门 笔 记 。 侵 刻 度 留 意 到 ， 目 前 关 于 ， 比 如 说 [uv_break] 三 悦 ， 然 后 的 影 评 笔 记 不 少 [uv_break] 已 经 超 千 点 赞 量 ， 其 中 不 乏 笔 记 [uv_break] 达 到 三 四 千 点 赞 量 [uv_break] 。 而 在 微 博 上 ， 其 开 分 当 日 话 题co [uv_break] 三 悦 有 了 新 工 作 豆 瓣 开 分 八 点 三 。 我 我 [uv_break] 其 实 这 个 [uv_break] 嗯 [uv_break] 哦 哦 对 ， [uv_break] 最 [uv_break] 那 个 [uv_break] 这 个 [uv_break] 嗯 。 [uv_break] 最 [uv_break] 的 [uv_break] 我 觉 得 [uv_break] 可 能 [uv_break] 不 少 [uv_break] 可 [uv_break]sco [uv_break] [uv_break] 类 [uv_break] 。 然 后 还 在 [uv_break] 嗯 。 我 我 我 [uv_break] 少 [uv_break] 少 [uv_break] 能 [uv_break] 的 [uv_break] 我 [uv_break] ， 然 后

audio.mp3.zip

你听听这个呢。

🍦 ChatTTS-Forge | version: v0.6.1-8-g952190f | branch: main | python: 3.10.14 | torch: 2.3.1 | ffmpeg: 7.0.1

@zhzLuke96

原文地址

这个一个是模型的问题，还有一个是你这个prompt噪声太多了，推理很容易不稳定 建议就是不要用 refiner （我把 refiner 和 infer 单独分开就是这个原因，完全没必要用） 或者找一个llm代替chattts做refine

其他几个提升稳定性的方法可自行尝试