search

radxa-edge / TPU-Edge-AI

AI Example for BM1684X TPU
Other
5 stars 0 forks source link

转化速度太慢 #4

Open githubzjj1 opened 3 months ago

githubzjj1 commented 3 months ago

大佬们，我根据Whisper.md部署完Whisper之后，使用web界面运行，发现这个模型运行的太慢了，用small的话，一段15秒的音频需要四十多秒才能出的来，有没有什么办法快一点呢

zifeng-radxa commented 3 months ago

这个目前没有比较好的办法

githubzjj1 commented 3 months ago

大佬，我发现他似乎并不是模型转换的慢，而是因为每次转换的时候都需要重新加载模型，有没有什么办法可以只加载一次模型，后面只修改给模型提供的wav文件，这样的话一段音频几秒就能出来了

baifengbai commented 3 months ago

可以自己写个html调用，15s 音频正常情况下5s内可以转完,可能是gradio的问题