OAID / Tengine

Tengine is a lite, high performance, modular inference engine for embedded device
Apache License 2.0
4.64k stars 998 forks source link

模型中有tim-vx不支持的层,切图耗时太大的问题 #1289

Open kjcx100 opened 2 years ago

kjcx100 commented 2 years ago

rk1109跑一个类ssd的模型,uint8量化后才300多k,rk1109的npu跑一次要4s,因为图中几个层不支持,导致会在npu和cpu层之间来回切,导致耗时过大,有什么优化方案吗 83(BPZ$}($HG3WM7JTXI~8B

BUG1989 commented 2 years ago

请提供下 export TG_DEBUG_TIME=1 的 log 信息,另外这个 SSD 模型是 caffe-ssd 吗?如果是 PyTorch 的 SSD,建议单独实现 SSD 后处理