search

Stephenfang51 / tracklite

Using Tensort to speed up yolov3 with deepsort for MOT
157 stars 48 forks source link

关于tensorrt推理时间 #4

Open iwanggp opened 4 years ago

iwanggp commented 4 years ago

你好， 在tracker.run()方法中 bbox_xywh, cls_ids, cls_conf = self.postprocessor.process(trt_outputs, (shape_orig_WH)) 不知作者时间大概多少，我这里是2080，608输入，单单这一步需要差不多30ms了 时间主要花在这个函数_process_feats(self, output_reshaped, mask)

Stephenfang51 commented 4 years ago

你好， 在tracker.run()方法中 bbox_xywh, cls_ids, cls_conf = self.postprocessor.process(trt_outputs, (shape_orig_WH)) 不知作者时间大概多少，我这里是2080，608输入，单单这一步需要差不多30ms了 时间主要花在这个函数_process_feats(self, output_reshaped, mask)

还没有实际用2080跑过， 但后处理时间应该是正常的， 顺便想了解一下您跑出来整个速度约多少呢？

iwanggp commented 4 years ago

基本上一张图，608输入的话，从图片进来预处理到后处理出来Bboxs在30~40ms，然后我跑qqwweee/keras-yolo3版本608输入同样维持30~40ms，所以我不清楚为什么tensorrt加速没有效果

Stephenfang51 commented 4 years ago

基本上一张图，608输入的话，从图片进来预处理到后处理出来Bboxs在30~40ms，然后我跑qqwweee/keras-yolo3版本608输入同样维持30~40ms，所以我不清楚为什么tensorrt加速没有效果

我找个2080测一下速度试试 ！ 请问你的onnx-tensorrt.py文件里面 builder.max_workspace_size = 1 << 28 这边是否有修改为30？ 28是对应nano的配置的， 可以改为30试试

FengJin-cv commented 4 years ago

How can I finally solve it, I also encountered the same problem