Closed Ddd195 closed 4 months ago
我同时搭建了LG和SG的TRT推理引擎,发现SG的推理速度还要快一点,请问作者有做过类似的实验吗,哪方面可能导致这个问题?用TRT推理LG好像无法进行do_early_stop和do_point_pruning?
我同时搭建了LG和SG的TRT推理引擎,发现SG的推理速度还要快一点,请问作者有做过类似的实验吗,哪方面可能导致这个问题?用TRT推理LG好像无法进行do_early_stop和do_point_pruning?