请问是否支持多线程并发

[Tian14267]

大神好，请问这个FastASR是否支持多线程并发服务？

[chenkui164]

可以的，每个线程都单独new一个实例即可

[Tian14267]

可以的，每个线程都单独new一个实例即可

@chenkui164 大神你好，我使用conformer_online_wenetspeech-zh-16k模型测试 进行python版本的流式部署和测试发现，并不支持并发啊。并发时间和并发路数成完全的正比~比如一个并发调用耗时5s，两个并发调用就耗时10s。。。我启动了多个模型预测器和实例。

[chenkui164]

是的，在推理过程中已经多线程推理了。并发只会抢占CPU的资源，降低单个实例推理速度。

[Tian14267]

是的，在推理过程中已经多线程推理了。并发只会抢占CPU的资源，降低单个实例推理速度。

@chenkui164 大神你好。如果我想实现python的并发调用？可以用这个项目实现吗？流式识别部署，并发调用。调用耗时不会显著增长的那种~~

[chenkui164]

抱歉，并没有更好的办法

[znsoftm]

底层的openblas库已经是多线程支持，对于AI推理程序，建议排队处理为好。 多线程并发并不能提升性能，反而会因为任务切换导致多个任务的总耗时增加。