PaddlePaddle / models

Officially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.
Apache License 2.0
6.9k stars 2.91k forks source link

so,tensorRT对小网络以及nas网络支持不友好 #2762

Open cuicheng01 opened 5 years ago

cuicheng01 commented 5 years ago

实测MobileNetV2的FLOPs只有MobileNetV1的一半,ShuffleNetV2更少一些,但是无论是so还是tensorRT,ShuffleNet和MobileNet的infer时间都会更长。另外,最近测试mnasnet和EfficientNet,速度也不行,在FLOPs明显降低很多的情况下速度还是太慢。还有一点,在非relu激活函数的网络里,tensorRT往往表现的比so预测更慢一些。希望tensorRT尽快支持对MobileNetV2,ShuffleNetV2,Nas系列的支持,也希望支持更多常见的激活函数。

NHZlX commented 5 years ago

好的, 此问题已经记录, 稍后会有专项对此类模型进行优化。