whisper-asr-large-size 模型支持,中/英之外的其他语种支持

[xiaoxi91]

• examples/whisper/export_onnx.md 里写不支持large-size, 请问是芯片本身不支持某些维度的NN,还是这个转换脚本不支持large?
• examples/whisper/python/whisper.py 必须指定task为 en 或zh, 但whisper是有语种识别性能,应该是可以直接输入音频,自动判断音频语种,然后输出对应语种的转写结果。这个是芯片本身不支持吗?还是脚本不支持,需要开发者自己调整脚本?请问有做过这方面的尝试吗?

[jxx-xi]

• examples/whisper/export_onnx.md 里写不支持large-size, 请问是芯片本身不支持某些维度的NN,还是这个转换脚本不支持large?
• examples/whisper/python/whisper.py 必须指定task为 en 或zh, 但whisper是有语种识别性能,应该是可以直接输入音频,自动判断音频语种,然后输出对应语种的转写结果。这个是芯片本身不支持吗?还是脚本不支持,需要开发者自己调整脚本?请问有做过这方面的尝试吗?

1.large理论上是支持的，因为模型太大，能不能跑起来还得取决于板子的硬件情况，如果有兴趣可以自行导出large模型试试，不过记得要修改c demo中的ENCODER_OUTPUT_SIZE参数 2.可以支持先识别语种后在进行转换，这个可以需要自己修改下推理逻辑，因为我们目标是提供语音识别的 demo，所以没有做其他任务