OpenPPL / ppq

PPL Quantization Tool (PPQ) is a powerful offline neural network quantization tool.
Apache License 2.0
1.57k stars 236 forks source link

使用自定义算子生成的onnx,进行操作时会报错,但是使用转好的trt进行操作时不会报错。 #484

Closed zouzouwei closed 1 year ago

zouzouwei commented 1 year ago

本机环境基于mmdet3d、mmdeploy的,于是在使用trt进行Example_Benchmark、Example_Profiling等操作时,只需要导入下面代码,就可以导入自定义算子,进而代码不会报错

from mmdeploy.backend.tensorrt.init_plugins import load_tensorrt_plugin
load_tensorrt_plugin()

想问一下,在进行onnx操作时,自定义算子的识别,除了在ppq/ppq/executor/op/torch文件夹下进行自己再注册,有类似上述操作的代码么。

O(∩_∩)O谢谢!

ZhangZhiPku commented 1 year ago

有是有,不过你都直接改ppq/ppq/executor/op/torch这里的实现了....好像也不需要注册了 注册算子实现可以利用 from ppq.lib import register_operation_handler 这个函数

zouzouwei commented 1 year ago

还没有在ppq/ppq/executor/op/torch实现,因为觉得有点麻烦(其实不太会)....,就想着有没有直接套用mmdet3d或者mmdeploy框架下的函数