search

OFA-Sys / Chinese-CLIP

Chinese version of CLIP which achieves Chinese cross-modal retrieval and representation generation.
MIT License
4.59k stars 474 forks source link

onnx部署没问题，tensorrt部署有问题 #350

Open paulpaul91 opened 3 months ago

paulpaul91 commented 3 months ago

onnx部署没问题，tensorrt部署有问题 tensorrt是图像侧没有问题，文本侧的向量不对，导致计算相似不对，有没有解法

ranck626 commented 2 months ago

你好，想请教一下配环境的问题。我开在了cuDNN版本不对。（8.3.2而不是8.6.0）

ypat999 commented 2 weeks ago

我也遇到一样问题，使用tensorrt 10.6.0，库api有些调整，基本上是把binding相关的接口改到io_tensor，还有使用context.execute_async_v3接口启动，为此调整了tensorrt_utils.py中的内容，改完之后测试，将onnx出来的feature和trt出来的feature做内积，发现图像模型99+，基本一致，但是文本模型出来分别是68、79、78、74，不管fp16还是fp32都这样，直接用trtexec转换也一样，导致图文内积偏差较大，怀疑是由于api更新但是tensorrt_util.py里有哪个环节还没匹配上导致的