search

huangzongmou / yolov8-pytorch_quantization

使用pytorch_quantization对yolov8进行量化
90 stars 12 forks source link

对yolov8n做量化之后推理时间延长 #2

Open twinklett opened 1 year ago

twinklett commented 1 year ago

Speed: 0.1ms preprocess, 17.7ms inference, 0.0ms loss, 0.7ms postprocess per image Speed: 0.1ms preprocess, 6.6ms inference, 0.0ms loss, 1.2ms postprocess per image

twinklett commented 1 year ago

可以看到平均推理时间从6.6ms降到了17.7

twinklett commented 1 year ago

可以看到平均推理时间从6.6ms降到了17.7

是升到了17.7吧，我也是，用这个代码量化后反而推理更耗时了，可能有什么算子被复杂化了，暂时没找到原因

是的，很怪，如果您愿意留下联系方式我很愿意和您交流

huangzongmou commented 11 months ago

可以看到平均推理时间从6.6ms降到了17.7

你用什么推理？

huangzongmou commented 11 months ago

可以看到平均推理时间从6.6ms降到了17.7

是升到了17.7吧，我也是，用这个代码量化后反而推理更耗时了，可能有什么算子被复杂化了，暂时没找到原因

你们不会拿带有伪量化节点的模型去推理吧？

StarryAzure commented 5 months ago

可以看到平均推理时间从6.6ms降到了17.7

是升到了17.7吧，我也是，用这个代码量化后反而推理更耗时了，可能有什么算子被复杂化了，暂时没找到原因

你们不会拿带有伪量化节点的模型去推理吧？

大佬，如何去掉伪量化节点呢