Closed beizhengren closed 3 years ago
@beizhengren 应该会有问题,你改过重新build下就好
@enazoe 好嘞, 我先试试
@enazoe 搞定了,谢谢!
@enazoe
作者您好,
请问在创建half的engine的时候相比float的engine创建有啥特别的操作吗?
我把接口改成IPluginV2之后, 可以成功创建float engine,
但是创建 half 的engine的时候 会执行下面的语句报错:
https://github.com/enazoe/yolo-tensorrt/blob/cc405b07af4351334e7b5f47dc70bec73ab25a06/modules/chunk.cu#L68
最大的改动就是把 void Chunk::configurePlugin
中的代码移到了 configureWithFormat中. 完整的chunk_V2.cpp
如下:
非常感谢!
@beizhengren 额,这个我不太清楚,fp16精度不用特意实现吧,fp32实现,序列化的时候会自动设成fp16
@enazoe 哦哦哦, 这样啊. 那int8应该和fp16的实现过程差不多吧? 只是多了一步setInt8Calibrator
@beizhengren 是的,目前来看是这样的
@enazoe 非常感谢!
@enazoe 还得请教下~ 为了兼容trt5, 我在这里用了setFp16Mode(true) https://github.com/enazoe/yolo-tensorrt/blob/1110190047815826381c088ba1c79a7b034acbdd/modules/yolo.cpp#L462
创建 half 的engine的时候 会执行下面的语句报错 https://github.com/enazoe/yolo-tensorrt/blob/cc405b07af4351334e7b5f47dc70bec73ab25a06/modules/chunk.cu#L68 您有空能试一下吗?我尝试了很多办法,没有搞定. 非常感谢!
@beizhengren @enazoe
Hi. Anyone can explain this issue as English ?
Actually, I have same problem in below line :(
My env;
@enazoe 作者您好, 关于yolov4-tiny部分, 我想把IPluginV2IOExt 换成IPluginV2, 然后支持tensorrt5. 如下: trt7:
trt5:
请问这样换完之后(版本暂且成为trt5), 是不是需要用trt5生成新的engine之后, 才能做推断. trt5直接加载 原始的trt7的已经转好的模型 推断会不会有问题呢? 谢谢!