midasklr / yolov5prune

548 stars 113 forks source link

估计是裁剪完的网络通道数不是2^n,导致再GPU上并行加速效果下降,推理时间就增加了。CPU上应该会有速度提升。 #147

Open f1shihang opened 1 month ago

f1shihang commented 1 month ago
          估计是裁剪完的网络通道数不是2^n,导致再GPU上并行加速效果下降,推理时间就增加了。CPU上应该会有速度提升。

Originally posted by @Yaodada12 in https://github.com/midasklr/yolov5prune/issues/89#issuecomment-1197633797 您好,我测试了您说明的情况发现CPU上确实是更快的,但是还是想了解,在这种情况下有什么办法可以加快GPU上的推理速度吗?还是说只有调大剪枝率才可以呢?

Yaodada12 commented 1 month ago
          估计是裁剪完的网络通道数不是2^n,导致再GPU上并行加速效果下降,推理时间就增加了。CPU上应该会有速度提升。

Originally posted by @Yaodada12 in #89 (comment) 您好,我测试了您说明的情况发现CPU上确实是更快的,但是还是想了解,在这种情况下有什么办法可以加快GPU上的推理速度吗?还是说只有调大剪枝率才可以呢?

尝试控制剪枝后的通道数为2^n,速度不满意根据场景看能不能用TensorRT加速。