k2-fsa / sherpa-ncnn

Real-time speech recognition using next-gen Kaldi with ncnn without Internet connection. Support iOS, Android, Raspberry Pi, VisionFive2, LicheePi4A etc.
https://k2-fsa.github.io/sherpa/ncnn/index.html
Apache License 2.0
902 stars 138 forks source link

语音识别结果不是很好,有推荐的中文模型吗 #291

Closed summerHearts closed 6 months ago

summerHearts commented 6 months ago

目前使用的模型是 marcoyang/sherpa-ncnn-streaming-zipformer-zh-14M-2023-02-23 (Chinese) 能否给出建议,使用哪个模型,不胜感激

csukuangfj commented 6 months ago

你用的是一个 14M 的模型,参数量非常小,优势是速度极快。缺点是准确率没有大一点的模型高.

推荐你用 https://k2-fsa.github.io/sherpa/ncnn/pretrained_models/zipformer-transucer-models.html#csukuangfj-sherpa-ncnn-streaming-zipformer-bilingual-zh-en-2023-02-13-bilingual-chinese-english

summerHearts commented 6 months ago

我看到这里有一个模型,这个能用吗,看样子是最新的,https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html#sherpa-onnx-pre-trained-models

image
csukuangfj commented 6 months ago

我看到这里有一个模型,这个能用吗,看样子是最新的,https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html#sherpa-onnx-pre-trained-models image

这个是给 onnx 用的,不是给 ncnn 用的。如果你用 sherpa-onnx, 那么, 是可以的。

summerHearts commented 6 months ago

sherpa-onnx

我看到这里有一个模型,这个能用吗,看样子是最新的,https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html#sherpa-onnx-pre-trained-models image

这个是给 onnx 用的,不是给 ncnn 用的。如果你用 sherpa-onnx, 那么, 是可以的。

我理解 sherpa-onnx,支持语音到文本(speech-to-text)和文本到语音(text-to-speech)的任务,那么是否推荐使用这个,移动端上使用

csukuangfj commented 6 months ago

那么是否推荐使用这个,移动端上使用

sherpa-ncnn 和 sherpa-onnx, 我们都推荐.

summerHearts commented 6 months ago
image

从体积考虑前者120M,移动端不是很适合。那么是否建议使用

image

.int8.onnx 格式的来接入移动端,这样下来也就80M

csukuangfj commented 6 months ago

模型摆在这里。你自己选个合适你自己的。