search

dlunion / tensorRTIntegrate

TensorRT ONNX Plugin、Inference、Compile
463 stars 114 forks source link

怎样才能支持转INT 8或者INT16？ #25

Closed lyxbyr closed 4 years ago

lyxbyr commented 4 years ago

您好！想转INT8或者INT16试试，可能会掉精度（在接受范围内的话想试试）,请问下怎么修改才能支持?(貌似protobuf不支持int8/int16这样的类型)，校正文件int8EntropyCalibratorFile这个生成后， Int8Process int8process 应该赋什么值，一开始是nullptr值会报错

hopef commented 4 years ago

这里有个以前的int8的process例子

lyxbyr commented 4 years ago

嗯，非常谢谢，我还有两个问题：1、转成int8之后，感觉精度和float32差不太多（肉眼看的，没有具体测），速度只提升了一点点（1fps都没有），在1080ti测的，是与maxbatchsize有关吗？ 2、如果转int16只需要加上int16模式就可以了吗，代码与int8一样？