search

laugh12321 / TensorRT-YOLO

🚀 TensorRT-YOLO: Supports YOLOv3, YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv9, YOLOv10, and PP-YOLOE using TensorRT acceleration with EfficientNMS, CUDA Kernels and CUDA Graphs!
https://github.com/laugh12321/TensorRT-YOLO
GNU General Public License v3.0
383 stars 50 forks source link

[Question]: 能在deepstream中使用吗？也没有看到int8的转换文档 #10

Closed tms2003 closed 3 months ago

tms2003 commented 3 months ago

同上

laugh12321 commented 3 months ago

没有尝试过在DeepStream中使用，理论上应该是可以的，欢迎尝试。目前只在PC和Jetson上进行过裸跑测试。 TensorRT 的PTQ int8量化的详细文档后续会给出。以下是简要教程

PTQ int8 量化的简要教程

  1. 在 calibration.yaml 中进行配置。

    当 dynamic = True 时，需要对shapes进行配置，且batch_shape == shapes.opt。 calibrator.data 为校准数据文件夹。

  2. 执行 python ptq_calibration.py