Paraformer语音识别-中文-通用-16k-离线-large-长音频版，微调量化导出后的模型文件替换docker中的模型文件后的效果与本地验证不一样 - Githubissues

modelscope / FunASR

A Fundamental End-to-End Speech Recognition Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Recognition, Voice Activity Detection, Text Post-processing etc.

https://www.funasr.com

Other

6.84k stars 722 forks source link

Paraformer语音识别-中文-通用-16k-离线-large-长音频版，微调量化导出后的模型文件替换docker中的模型文件后的效果与本地验证不一样 #2162

Open chiyinbao opened 2 weeks ago

chiyinbao commented 2 weeks ago

What is your question?

Paraformer语音识别-中文-通用-16k-离线-large-长音频版（https://modelscope.cn/models/iic/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch），使用20小时语料进行微调，在微调服务器上完成量化导出和测试，测试效果很好，但是将量化后的权重文件，替换docker中对应的量化模型下的权重文件重启后，输出效果不如测试效果，请问是不是需要将依赖的vad、punc、lm模型也是用相同语料微调

Code

What have you tried?

将模型字典配置文件全部同步到docker对应模型下，替换了相同文件，同时将docker中的长音频版量化模型，导入到服务器上使用微调量化后的权重文件替换，效果很好

What's your environment?

OS (e.g., Linux):
FunASR Version (e.g., 1.0.0): 1.0.12
ModelScope Version (e.g., 1.11.0):
PyTorch Version (e.g., 2.0.0):2.4.1+cu121
How you installed funasr (pip, source):pip
Python version:3.11.7
GPU (e.g., V100M32):4090D
CUDA/cuDNN version (e.g., cuda11.7):CUDA Version: 12.4
Docker version (e.g., funasr-runtime-sdk-cpu-0.4.1)：funasr:funasr-runtime-sdk-en-cpu-0.1.7
Any other relevant information:

LauraGPT commented 2 days ago

以下逐个测试： 1、torch 解码 2、导出fp32 onnx解码，funasr-onnx 3、导出int8 onnx，funasr-onnx 4、docker部署，替换原来的模型，进行测试