search

k2-fsa / sherpa-ncnn

Real-time speech recognition and voice activity detection (VAD) using next-gen Kaldi with ncnn without Internet connection. Support iOS, Android, Linux, macOS, Windows, Raspberry Pi, VisionFive2, LicheePi4A etc.
https://k2-fsa.github.io/sherpa/ncnn/index.html
Apache License 2.0
976 stars 149 forks source link

关于GPU的疑问 #351

Open AntyRia opened 1 month ago

AntyRia commented 1 month ago

我使用的模型是sherpa-ncnn-streaming-zipformer-zh-14M-2023-02-23，目前想使用x86设备的N卡做推理，想问问这个模型是否支持GPU以及对应的操作办法。另外想咨询一下这个模型是否支持边缘计算设备上的NPU，比如RK系列开发板。

csukuangfj commented 1 month ago

你的 gpu 支持 vulkan 么？sherpa-ncnn 是通过 ncnn 的 vulkan 功能去使用 gpu.

AntyRia commented 1 month ago

支持的

csukuangfj commented 1 month ago

另外想咨询一下这个模型是否支持边缘计算设备上的NPU，比如RK系列开发板。

有同学移植过。我只能回答，这条路走得通。我们没提供代码。

csukuangfj commented 1 month ago

https://github.com/k2-fsa/sherpa-ncnn/blob/master/build-android-arm64-v8a-with-vulkan.sh

这个是增加 vulkan 功能的编译脚本，你自己可以看一下. 更多的关于 vulkan的问题，请移步 ncnn github repo.