Open lin-gooo opened 6 days ago
我不太懂这个,fastapi 版本的也会卡住吗?
我不太懂这个,fastapi 版本的也会卡住吗?
是的,GRPC、HTTP、WebUI 这三种方式全部会卡住。
我在7月份尝试部署了一次(commit id:02f941d34885bdb08c4cbcbb4bb8e2cecad3d430) 那次的 Instruct 模型推理是完全没有问题的。
我不太懂这个,fastapi 版本的也会卡住吗?
+1,同款模型,用的fastapi,如果碰到这种情况不把api杀死,甚至会影响整张卡。我用的八卡A800部署32线程,出现这个问题的api会让卡满载,以至于这张卡的所有其他api请求速度巨慢甚至也卡死。而且跟数据无关,我用导致卡死的数据请求其他api或者重新部署后再次请求都没有问题。
我不太懂这个,fastapi 版本的也会卡住吗?
+1,同款模型,用的fastapi,如果碰到这种情况不把api杀死,甚至会影响整张卡。我用的八卡A800部署32线程,出现这个问题的api会让卡满载,以至于这张卡的所有其他api请求速度巨慢甚至也卡死。而且跟数据无关,我用导致卡死的数据请求其他api或者重新部署后再次请求都没有问题。
这种情况你是偶现的是嘛?我尝试了 GRPC、HTTP、WebUI 这三种方式都是必现的,从来没成功合成出音频。
我不太懂这个,fastapi 版本的也会卡住吗?
+1,同款模型,用的fastapi,如果碰到这种情况不把api杀死,甚至会影响整张卡。我用的八卡A800部署32线程,出现这个问题的api会让卡满载,以至于这张卡的所有其他api请求速度巨慢甚至也卡死。而且跟数据无关,我用导致卡死的数据请求其他api或者重新部署后再次请求都没有问题。
这种情况你是偶现的是嘛?我尝试了 GRPC、HTTP、WebUI 这三种方式都是必现的,从来没成功合成出音频。
我是批量跑几万条数据,每次跑到最后都会发现卡主一个api,重启后用剩下的数据继续跑,还是会卡住,直到只剩一条数据还是会卡。而且似乎api换成fish就没问题。
我不太懂这个,fastapi 版本的也会卡住吗?
+1,同款模型,用的fastapi,如果碰到这种情况不把api杀死,甚至会影响整张卡。我用的八卡A800部署32线程,出现这个问题的api会让卡满载,以至于这张卡的所有其他api请求速度巨慢甚至也卡死。而且跟数据无关,我用导致卡死的数据请求其他api或者重新部署后再次请求都没有问题。
这种情况你是偶现的是嘛?我尝试了 GRPC、HTTP、WebUI 这三种方式都是必现的,从来没成功合成出音频。
我是批量跑几万条数据,每次跑到最后都会发现卡主一个api,重启后用剩下的数据继续跑,还是会卡住,直到只剩一条数据还是会卡。而且似乎api换成fish就没问题。
真的很奇怪 [摊手]
同样遇到这个问题,莫名其妙就会卡住,想批量生成1000多章的有声书,一章卡一次
同样遇到这个问题,莫名其妙就会卡住,想批量生成1000多章的有声书,一章卡一次
请教下 instruct_text 参数有什么作用吗?我看代码里实际上是把 tts_text 和 instruct_text 拼接在一起来生成音频的,但最终结果似乎是在开盲盒,不是缺少了一部分文字的音频,就是会出现两个音频一起被生成的情况。
同样遇到这个问题,莫名其妙就会卡住,想批量生成1000多章的有声书,一章卡一次
请教下 instruct_text 参数有什么作用吗?我看代码里实际上是把 tts_text 和 instruct_text 拼接在一起来生成音频的,但最终结果似乎是在开盲盒,不是缺少了一部分文字的音频,就是会出现两个音频一起被生成的情况。
确实是去拼接在一起的,但是应该不会出现两个一起生成,我没遇到过
同样遇到这个问题,莫名其妙就会卡住,想批量生成1000多章的有声书,一章卡一次
请教下 instruct_text 参数有什么作用吗?我看代码里实际上是把 tts_text 和 instruct_text 拼接在一起来生成音频的,但最终结果似乎是在开盲盒,不是缺少了一部分文字的音频,就是会出现两个音频一起被生成的情况。
确实是去拼接在一起的,但是应该不会出现两个一起生成,我没遇到过
我主要是用的zero_shot推理
@aluminumbox @v3ucn @iflamed @bearlu007 @boji123 Hi 感谢各位大佬们的付出!以下是我遇到的具体问题,劳烦帮忙解答一下~
BUG 描述
当执行完 【 启动前的问题修复步骤】后,通过启动命令: python webui.py --model_dir ../pretrained_models/CosyVoice-300M-Instruct/ 启动, 点击生成音频立即就出现了程序卡住的情况,通过等待、重试、重启等方式均无效。 虽然一直没有返回结果,但资源一直是占用的,具体请看【程序卡住时的相关截图】
启动前的问题修复步骤
使用官方提供的 Dockerfile 构建时,共产生2个报错:
ImportError: cannot import name 'cached_download' from 'huggingface_hub' 此问题通过版本降级修复:pip install huggingface-hub==0.25.2
RuntimeError: "addmm_implcpu" not implemented for 'Half' 此问题通过升级 torch、torchaudio 修复:pip install torch==2.4.1 torchaudio==2.4.1 以下为完整报错
Traceback of TorchScript, original code (most recent call last): RuntimeError: "addmm_implcpu" not implemented for 'Half'
0%| | 0/1 [00:00<?, ?it/s] 2024-10-21 12:55:14,273 ERROR Exception iterating responses: Expected tensor for argument #1 'indices' to have one of the following scalar types: Long, Int; but got torch.FloatTensor instead (while checking arguments for embedding) Traceback (most recent call last): File "/opt/conda/envs/cosyvoice/lib/python3.8/site-packages/grpc/_server.py", line 589, in _take_response_from_response_iterator return next(response_iterator), True File "server.py", line 62, in Inference for i in model_output: File "/workspace/CosyVoice/cosyvoice/cli/cosyvoice.py", line 100, in inference_instruct for model_output in self.model.tts(*model_input, stream=stream, speed=speed): File "/workspace/CosyVoice/cosyvoice/cli/model.py", line 191, in tts this_tts_speech = self.token2wav(token=this_tts_speech_token, File "/workspace/CosyVoice/cosyvoice/cli/model.py", line 104, in token2wav tts_mel, flow_cache = self.flow.inference(token=token.to(self.device), File "/opt/conda/envs/cosyvoice/lib/python3.8/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(args, kwargs) File "/workspace/CosyVoice/cosyvoice/flow/flow.py", line 123, in inference token = self.input_embedding(torch.clamp(token, min=0)) mask File "/opt/conda/envs/cosyvoice/lib/python3.8/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(args, kwargs) File "/opt/conda/envs/cosyvoice/lib/python3.8/site-packages/torch/nn/modules/sparse.py", line 162, in forward return F.embedding( File "/opt/conda/envs/cosyvoice/lib/python3.8/site-packages/torch/nn/functional.py", line 2210, in embedding return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse) RuntimeError: Expected tensor for argument #1 'indices' to have one of the following scalar types: Long, Int; but got torch.FloatTensor instead (while checking arguments for embedding)
requirements.txt