FireRedTeam / FireRedTTS

An Open-Sourced LLM-empowered Foundation TTS System
https://fireredteam.github.io/demos/firered_tts/
268 stars 14 forks source link

吞音鬼畜 #6

Open martjay opened 2 days ago

martjay commented 2 days ago

比如说选中文带了数字或者某些符号,就会鬼畜,还有就是长段文字就会漏字,嗯,有很多问题

FireRedTeam commented 1 day ago
  1. 因为训练语料的原因,某些符号可能不在我们的处理范围内,您可以手动处理一下。
  2. 我们会马上放出一个新模型来提升稳定性问题。
martjay commented 1 day ago
  1. 因为训练语料的原因,某些符号可能不在我们的处理范围内,您可以手动处理一下。

    1. 我们会马上放出一个新模型来提升稳定性问题。

期待,还有一个问题就是句子末尾会缺字

FireRedTeam commented 1 day ago

期待,还有一个问题就是句子末尾会缺字

新模型昨天已经更新到huggingface,使用最新模型即可

martjay commented 19 hours ago

期待,还有一个问题就是句子末尾会缺字

新模型昨天已经更新到huggingface,使用最新模型即可

新鲜出炉的。

这几天不是开学了吗?

一朋友是做养殖场的,养的鸡是供当地烧烤店的。

这几天订单呈断崖式下沉,百思不得其解,后来跟其他行业的朋友聊起来,大家发现这几天整个消费市场突然间就一片死寂了,连警察朋友都说这几天大街上都突然冷清了一大截。

最后一寻思:开学了,交了各种费用后大家都没钱了。

https://github.com/user-attachments/assets/93186a81-71c7-45b1-a3ce-c81071c6abaa

还是会吞音

martjay commented 19 hours ago

以前我们加班做手术,做到夜里,主任都会叫我给大家订点吃的喝的,订多少他给我发红包,还嘱咐我别忘了护士妹妹和麻醉老师,于是我订了30杯喜茶,30*30=900;

https://github.com/user-attachments/assets/bc017ddf-1175-4ac3-9a72-0f466d1c7389

出了吞音鬼畜,还有符号念不好。

martjay commented 19 hours ago

另外的问题就是生成速度慢,还有不稳定的错误

IndexError: index 0 is out of bounds for dimension 0 with size 0 Traceback (most recent call last): File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\gradio\queueing.py", line 536, in process_events response = await route_utils.call_process_api( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\gradio\route_utils.py", line 322, in call_process_api output = await app.get_blocks().process_api( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\gradio\blocks.py", line 1935, in process_api result = await self.call_function( ^^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\gradio\blocks.py", line 1520, in call_function prediction = await anyio.to_thread.run_sync( # type: ignore ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\anyio\to_thread.py", line 56, in run_sync return await get_async_backend().run_sync_in_worker_thread( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\anyio_backends_asyncio.py", line 2405, in run_sync_in_worker_thread return await future ^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\anyio_backends_asyncio.py", line 914, in run result = context.run(func, args) ^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\py311\Lib\site-packages\gradio\utils.py", line 826, in wrapper response = f(args, **kwargs) ^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\app.py", line 36, in tts_inference syn_audio_tensor = tts.synthesize( ^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\fireredtts\fireredtts.py", line 142, in synthesize gpt_codes = self.do_gpt_inference(spk_gpt=spk_gpt, text_tokens=text_tokens) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\AI\FireRedTTS-main\fireredtts\fireredtts.py", line 107, in do_gpt_inference index = (seq == EOS_TOKEN).nonzero(as_tuple=True)[0][0]


IndexError: index 0 is out of bounds for dimension 0 with size 0
martjay commented 19 hours ago

上面的错误生成内容:

这家“汉丽轩自助烤肉”在济阳,2016年我在机场上班,下午5点下班,太阳还在半空中,就无所事事了,闲的蛋疼,就去附近的济阳转悠着玩。在中心广场上看到这家自助烤肉店。当时是39元一位,儿童半价,现在不知道多少钱了。菜品那是相当丰富,菜品得有上百个吧,还有各类肉片、海鲜等,各类饮料、甜点也很多。有烤炉、火锅。

martjay commented 19 hours ago

最后就是建议多语言混合,分开确实不太好

FireRedTeam commented 18 hours ago

还是会吞音

这是超长句的问题(因为你的文本字数超过了模型处理的最大长度),我们会提供一个切句逻辑集成,把长句切成短句之后再进行合成。

FireRedTeam commented 18 hours ago

另外的问题就是生成速度慢,还有不稳定的错误

这个也是因为你输入了过长的句子导致的,接下来一并解决。

FireRedTeam commented 18 hours ago

最后就是建议多语言混合,分开确实不太好

多语言直接使用zh进行标签,不过你的建议收到,我们会逐步尝试把语言标签去掉。

martjay commented 17 hours ago

最后就是建议多语言混合,分开确实不太好

多语言直接使用zh进行标签,不过你的建议收到,我们会逐步尝试把语言标签去掉。

好好好 等你们的好消息