Open wblm opened 3 months ago
作者你好,我在本地尝试修改你的推理类,通过 engine 创建多个 context 进行多线程推理,但是运行过程中发现速度并没有明显提升,随着线程数量的增加,单个推理的速度有很显著的下降。请问这个问题有什么解决方法呢?目前我在 2080 和 4090 显卡都尝试过部署,之前尝试多线程加载多个 ONNX 模型,但是由于显存问题,也无法同时配置多个推理类。我想请教一下这个推理库有什么办法能提高显卡的利用率呢,现在占用率维持在 10% 一下,我的模型训练大小是 72*3700 的尺寸,推理单张耗时大概在 170ms。
作者你好,我在本地尝试修改你的推理类,通过 engine 创建多个 context 进行多线程推理,但是运行过程中发现速度并没有明显提升,随着线程数量的增加,单个推理的速度有很显著的下降。请问这个问题有什么解决方法呢?目前我在 2080 和 4090 显卡都尝试过部署,之前尝试多线程加载多个 ONNX 模型,但是由于显存问题,也无法同时配置多个推理类。我想请教一下这个推理库有什么办法能提高显卡的利用率呢,现在占用率维持在 10% 一下,我的模型训练大小是 72*3700 的尺寸,推理单张耗时大概在 170ms。