不兼容新模型，sherpa-onnx-paraformer-zh-2024-03-09

kebinzhi commented 2 months ago

https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-zh-2024-03-09 以上模型有更新，自己手动下载，并转换了模型格式，但是无法识别语音

qhgy commented 2 months ago

希望能更新啊

HustCoderHu commented 1 month ago

https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-zh-2024-03-09 以上模型有更新，自己手动下载，并转换了模型格式，但是无法识别语音

提示什么错误

zhong-yiyu commented 1 month ago

@kebinzhi 或许可以考虑自己构建一个ONNX模型？我也尝试了链接里的模型，同样是无法执行。我的解决方案如下，可以在本地构建一个最新版本的原版模型的ONNX导出版本，并运行成功。

执行python -m funasr.export.export_model --model-name model_lib --export-dir ./export --type torch --quantize false命令，这一步需要您安装funasr包。之后可以在命令行的输出中找到onnx文件的所在位置。

对onnx文件执行这个仓库里的命令

python3 add-model-metadata.py
python3 quantize-model.py

之后就可以获得model.int8.onnx文件，这个文件可以直接粘贴放入models/paraformer-offline-zh目录下。

希望这个解决方案可以帮到您！ 😉

qhgy commented 1 month ago

@kebinzhi 或许可以考虑自己构建一个ONNX模型？我也尝试了链接里的模型，同样是无法执行。我的解决方案如下，可以在本地构建一个最新版本的原版模型的ONNX导出版本，并运行成功。

执行python -m funasr.export.export_model --model-name model_lib --export-dir ./export --type torch --quantize false命令，这一步需要您安装funasr包。之后可以在命令行的输出中找到onnx文件的所在位置。

对onnx文件执行这个仓库里的命令
python3 add-model-metadata.py
python3 quantize-model.py
之后就可以获得model.int8.onnx文件，这个文件可以直接粘贴放入models/paraformer-offline-zh目录下。

希望这个解决方案可以帮到您！ 😉

大佬能不能直接分享一下构建好的模型呢造福大众多谢啦

zhong-yiyu commented 1 month ago

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

qhgy commented 1 month ago

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

感恩大佬我昨天搞了半天还是失败了

zhong-yiyu commented 1 month ago

如果这个issue得到了解决或许它可以关闭了？ P.S. 如果有必要我可以把我的构建脚本发布为一个gist，并共享到这个issue下面。

qhgy commented 1 month ago

如果这个issue得到了解决或许它可以关闭了？ P.S. 如果有必要我可以把我的构建脚本发布为一个gist，并共享到这个issue下面。

强烈支持小白根本搞不定

zhong-yiyu commented 1 month ago

这是从头开始构建的说明，里面也包含了必要的python代码

qhgy commented 1 month ago

感谢分享(-🙏-)

zhong-yiyu @.***> 于 2024年5月13日周一下午12:38写道：

这是从头开始构建的说明 https://gist.github.com/zhong-yiyu/987fa590360e051d08d5a2df9d4763b3 ，里面也包含了必要的python代码

— Reply to this email directly, view it on GitHub https://github.com/HaujetZhao/CapsWriter-Offline/issues/120#issuecomment-2106639274, or unsubscribe https://github.com/notifications/unsubscribe-auth/AAFQFJLQQKFZ6LACK54T6RTZCA7SZAVCNFSM6AAAAABGTLHJTGVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBWGYZTSMRXGQ . You are receiving this because you commented.Message ID: @.***>

Stanley121236 commented 1 month ago

更換sherpa-onnx-paraformer-trilingual-zh-cantonese-en這個模型更換後同樣出錯，按照上述的方也無法解決，，請問是什麼問題？可以幫忙排錯嗎，感謝。模型：https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

zhong-yiyu commented 1 month ago

更換sherpa-onnx-paraformer-trilingual-zh-cantonese-en這個模型更換後同樣出錯，按照上述的方也無法解決，，請問是什麼問題？可以幫忙排錯嗎，感謝。模型：https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

如果可以把具体的报错信息post过来就可以更方便的定位了😉

Stanley121236 commented 1 month ago

更換sherpa-onnx-paraformer-trilingual-zh-cantonese-en這個模型更換後同樣出錯，按照上述的方也無法解決，，請問是什麼問題？可以幫忙排錯嗎，感謝。模型：https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

如果可以把具体的报错信息post过来就可以更方便的定位了😉

在recognizer.decode_stream(s)時沒有任何回應。代碼如下:

stream = recognizer.create_stream()
stream.accept_waveform(args.sample_rate, samples)
print('decode_start')
recognizer.decode_stream(stream)
print('decode_done')
print(stream)
print(stream.result.text)

只能顯示print('decode_start')

zhong-yiyu commented 1 month ago

这个似乎是项目的加载模型的逻辑没有对额外的token进行处理的缘故？使用了粤语的模型会比只支持中英文的模型多了上千个token。

我在 sherpa-onnx 项目的代码中运行了您提供的链接里的模型，并没有异常。而sherpa-onnx正是这个项目的组成部分。

对于这个问题的解决方案我也没有什么头绪。

Stanley121236 commented 1 month ago

感謝解答~~~~

csukuangfj commented 2 weeks ago

建议取消掉版本限制 https://github.com/HaujetZhao/CapsWriter-Offline/blob/a072f5312031e31706b294e9242d516fb8979fc6/requirements-server.txt#L5

直接用

sherpa-onnx

即可。

这个问题的解决方法是

pip install -U sherpa-onnx

Stanley121236 commented 2 weeks ago

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

可以為這個模型構建一個新版本嗎？https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

csukuangfj commented 1 week ago

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

可以為這個模型構建一個新版本嗎？https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

pip install -U sherpa-onnx 能否解决你的问题？

zhong-yiyu commented 1 week ago

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

可以為這個模型構建一個新版本嗎？https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

Huggingface上的模型已经是modelscope网站上的原始版本的最新版了，并不需要新构建版本。

HaujetZhao / CapsWriter-Offline