search

modelscope / FunASR

A Fundamental End-to-End Speech Recognition Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Recognition, Voice Activity Detection, Text Post-processing etc.
https://www.funasr.com
Other
6.5k stars 688 forks source link

speechio自测结果与官方给的不一致 #265

Closed kFoodie closed 1 year ago

kFoodie commented 1 year ago

你们的speechio的测试结果，为啥cer这么低啊？ 比如 speechio 12 我的结果： %WER 3.21 [ 2344 / 73114, 332 ins, 803 del, 1209 sub ] %SER 72.91 [ 853 / 1170 ] 我的设置

71f9e569e0d016dd5b46ed9f1df57e3e

另外，不管我有没有加语言模型，测出来的wer都是3.21。。

LauraGPT commented 1 year ago

@Lizerui9926 加一下text norm的recipe，方便用户复现speechio的实验结果

Lizerui9926 commented 1 year ago

@kFoodie 已更新paraformer-large模型的recipe，https://github.com/alibaba-damo-academy/FunASR/blob/main/egs_modelscope/asr/paraformer/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/infer.sh 在最新的脚本中stage=3包含了text norm，可尝试复现speechio实验结果

Lizerui9926 commented 1 year ago

加语言模型，还需要在pipeline配置lm_weight和beam_size参数，我们的结果使用的是lm_weight=0.15和beam_size=10

JVfisher commented 8 months ago

你们的speechio的测试结果，为啥cer这么低啊？ 比如 speechio 12 我的结果： %WER 3.21 [ 2344 / 73114, 332 ins, 803 del, 1209 sub ] %SER 72.91 [ 853 / 1170 ] 我的设置 71f9e569e0d016dd5b46ed9f1df57e3e

另外，不管我有没有加语言模型，测出来的wer都是3.21。。

请问您是如何添加lm并设置lm_weight和beam_size参数的，我在文档中没有找到相关的内容