本项目将分三个阶段分支,分别是入门级 、进阶级 和最终级 分支,当前为最终级的V2版本,如果想使用最终级的V1版本,请在这个分支r1.x。PPASR中文名称PaddlePaddle中文语音识别(PaddlePaddle Automatic Speech Recognition),是一款基于PaddlePaddle实现的语音识别框架,PPASR致力于简单,实用的语音识别项目。可部署在服务器,Nvidia Jetson设备,未来还计划支持Android等移动设备。别忘了star
欢迎大家扫码入知识星球或者QQ群讨论,知识星球里面提供项目的模型文件和博主其他相关项目的模型文件,也包括其他一些资源。
2. 在线使用Dome
3. inscode
本项目使用的环境:
deepspeech2
、conformer
、squeezeformer
,efficient_conformer
,每个模型都支持流式识别和非流式识别,在配置文件中streaming
参数设置。ctc_beam_search
和贪心解码器ctc_greedy
,集束搜索解码器ctc_beam_search
准确率更高。这里介绍如何使用PPASR快速进行语音识别,前提是要安装PPASR,文档请看快速安装。执行过程不需要手动下载模型,全部自动完成。
from ppasr.predict import PPASRPredictor
predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')
wav_path = 'dataset/test.wav' result = predictor.predict(audio_data=wav_path, use_pun=False) score, text = result['score'], result['text'] print(f"识别结果: {text}, 得分: {int(score)}")
2. 长语音识别
```python
from ppasr.predict import PPASRPredictor
predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')
wav_path = 'dataset/test_long.wav'
result = predictor.predict_long(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {score}")
import time
import wave
from ppasr.predict import PPASRPredictor
predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')
interval_time = 0.5 CHUNK = int(16000 * interval_time)
wav_path = 'dataset/test.wav' wf = wave.open(wav_path, 'rb') data = wf.readframes(CHUNK)
while data != b'': start = time.time() d = wf.readframes(CHUNK) result = predictor.predict_stream(audio_data=data, use_pun=False, is_end=d == b'') data = d if result is None: continue score, text = result['score'], result['text'] print(f"【实时结果】:消耗时间:{int((time.time() - start) * 1000)}ms, 识别结果: {text}, 得分: {int(score)}")
predictor.reset_stream()
## 模型下载
1. [WenetSpeech](./docs/wenetspeech.md) (10000小时) 的预训练模型列表:
| 使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
|:-----------:|:-----:|:-----:|:---:|:-------------------------------------------------------------------:|:--------:|
| conformer | True | fbank | 普通话 | 0.03579(aishell_test)<br>0.11081(test_net)<br>0.16031(test_meeting) | 加入知识星球获取 |
| deepspeech2 | True | fbank | 普通话 | 0.05379(aishell_test) | 加入知识星球获取 |
2. [WenetSpeech](./docs/wenetspeech.md) (10000小时)+[中文语音数据集](https://download.csdn.net/download/qq_33200967/87003964) (3000+小时) 的预训练模型列表:
| 使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
|:----------:|:-----:|:-----:|:---:|:-------------------------------------------------------------------:|:--------:|
| conformere | True | fbank | 普通话 | 0.02923(aishell_test)<br>0.11876(test_net)<br>0.18346(test_meeting) | 加入知识星球获取 |
3. [AIShell](https://openslr.magicdatatech.com/resources/33) (179小时) 的预训练模型列表:
| 使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
|:-------------------:|:-----:|:-----:|:---:|:-------:|:---------:|
| squeezeformer | True | fbank | 普通话 | 0.04675 | 加入知识星球获取 |
| conformer | True | fbank | 普通话 | 0.04178 | 加入知识星球获取 |
| efficient_conformer | True | fbank | 普通话 | 0.04143 | 加入知识星球获取 |
| deepspeech2 | True | fbank | 普通话 | 0.09732 | 加入知识星球获取 |
4. [Librispeech](https://openslr.magicdatatech.com/resources/12) (960小时) 的预训练模型列表:
| 使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集词错率 | 下载地址 |
|:-------------------:|:-----:|:-----:|:--:|:-------:|:--------:|
| squeezeformer | True | fbank | 英文 | 0.13033 | 加入知识星球获取 |
| conformer | True | fbank | 英文 | 0.08109 | 加入知识星球获取 |
| efficient_conformer | True | fbank | 英文 | | 加入知识星球获取 |
| deepspeech2 | True | fbank | 英文 | 0.15294 | 加入知识星球获取 |
**说明:**
1. 这里字错率或者词错率是使用`eval.py`程序并使用集束搜索解码`ctc_beam_search`方法计算得到的。
2. 没有提供预测模型,需要把全部文件复制到项目的根目录下,执行`export_model.py`导出预测模型。
3. 由于算力不足,这里只提供了流式模型,但全部模型都支持流式和非流式的,在配置文件中`streaming`参数设置。
>有问题欢迎提 [issue](https://github.com/yeyupiaoling/PPASR/issues) 交流
## 文档教程
- [快速安装](./docs/install.md)
- [快速使用](./docs/GETTING_STARTED.md)
- [数据准备](./docs/dataset.md)
- [WenetSpeech数据集](./docs/wenetspeech.md)
- [合成语音数据](./docs/generate_audio.md)
- [数据增强](./docs/augment.md)
- [训练模型](./docs/train.md)
- [集束搜索解码](./docs/beam_search.md)
- [执行评估](./docs/eval.md)
- [导出模型](./docs/export_model.md)
- [使用标点符号模型](./docs/punctuation.md)
- [使用语音活动检测(VAD)](./docs/vad.md)
- 预测
- [本地预测](./docs/infer.md)
- [长语音预测](./docs/infer.md)
- [Web部署模型](./docs/infer.md)
- [GUI界面预测](./docs/infer.md)
- [Nvidia Jetson部署](./docs/nvidia-jetson.md)
## 相关项目
- 基于PaddlePaddle实现的声纹识别:[VoiceprintRecognition-PaddlePaddle](https://github.com/yeyupiaoling/VoiceprintRecognition-PaddlePaddle)
- 基于PaddlePaddle静态图实现的语音识别:[PaddlePaddle-DeepSpeech](https://github.com/yeyupiaoling/PaddlePaddle-DeepSpeech)
- 基于Pytorch实现的语音识别:[MASR](https://github.com/yeyupiaoling/MASR)
## 特别感谢
- 感谢 <img src="https://github.com/yeyupiaoling/PPASR/raw/release/2.4.x/docs/images/PyCharm_icon.png" height="25" width="25" >[JetBrains开源社区](https://jb.gg/OpenSourceSupport) 提供开发工具。
## 打赏作者
<br/>
<div align="center">
<p>打赏一块钱支持一下作者</p>
<img src="https://yeyupiaoling.cn/reward.png" alt="打赏作者" width="400">
</div>
## 参考资料
- https://github.com/PaddlePaddle/PaddleSpeech
- https://github.com/jiwidi/DeepSpeech-pytorch
- https://github.com/wenet-e2e/WenetSpeech