Tencent / TPAT

TensorRT Plugin Autogen Tool
Apache License 2.0
365 stars 42 forks source link

无法跑通 example #21

Closed scse-l closed 1 year ago

scse-l commented 1 year ago

按照 ReadMe 中的指导进行一下操作:

  1. 使用 dockerfile 构建镜像
  2. 使用 1 张 v100-32g 卡创建容器
  3. cd 到 /workspace/TPAT/examples 目录下执行 python test_onehot_dynamic_direct.py ,出现 segfault,简单定位是在 onnx2plugin 的 cuda_kernel.run() 处出现异常。

    因为直接使用了 dockerfile build ,所以没有修改 TRT_LIB_PATH 的值。但我看了下默认 TRT_LIB_PATH 的值为 /root/workspace/download/ft_local/TensorRT-8.0.0.3/lib ,这个目录在镜像里面并不存在,请问是否还需要重新设置这个值,需要的话应该如何设置呢?

scse-l commented 1 year ago

单步了一下发现是 onnxruntime 在运行时遇到 “pthread_setaffinity_np failed” 的问题,应该是 onnxruntime 没有办法正确设置 CPU 核的原因,解决方案为在 onnx session 执行时 "options = ort.SessionOptions() options.intra_op_num_threads = [可用 CPU 核数] options.inter_op_num_threads = [可用 CPU 核数]",即 cuda_kernel.py 和 plugin_template_params.py 中补充相关代码。 详情可参考相关 issue:https://github.com/microsoft/onnxruntime/issues/8313