CUDA error code=999(cudaErrorUnknown) - Githubissues

lix19937 / tensorrt-insight

Deep insight tensorrt, including but not limited to qat, ptq, plugin, triton_inference, cuda

12 stars 0 forks source link

CUDA error code=999(cudaErrorUnknown) #36

Open lix19937 opened 3 months ago

lix19937 commented 3 months ago

问题描述

在非ros2 环境下 trt infer 成功, trtexec --onnx=spec 成功
包含了ros2 封装后的 trt infer 报错 cuda 999 错误

问题解决思路

由于 ros2 封装的可执行程序采用的是 run.sh脚本启动的，发现里面设置了很多 LD_LIBRARY_PATH ，由此怀疑是cuda rt/driver 库引用冲突（版本不匹配）

将 trtexec --onnx=spec 接入到run.sh 中，看看在ros2 相关环境下是否依旧可以运行成功，实际发现trtexec运行失败，因此确认是 LD_LIBRARY_PATH 的环境问题。

进一步排查发现，该path 引用了一个libcuda.so 的库