手机移动端开销及其优化问题

PeterL1n / RobustVideoMatting

Robust Video Matting in PyTorch, TensorFlow, TensorFlow.js, ONNX, CoreML!

https://peterl1n.github.io/RobustVideoMatting/

GNU General Public License v3.0

8.61k stars 1.14k forks source link

手机移动端开销及其优化问题 #22

Open pxEkin opened 3 years ago

pxEkin commented 3 years ago

rvm引入rec，处理视频流是个不错的方法，但在手机上部署，目前开销有点大，内存开销：MNN部署1080p s0.25的模型，需要380m内存， coreml也需要300m左右，推理速度也不太够，提出以下几个优化问题： 1.rec目前是r1/r2/r3/r4四层，这个可以减到两层或三层吗？ 2.如果只处理低分辨率视频(或图片)，是不是可以删除DGF？

distant1219 commented 3 years ago

第二个感觉是可行的，DGF对于高分辨率的效果有提升，对低分辩率性价比感觉不太高。处理图片，rec也可以砍掉了。

pxEkin commented 3 years ago

第二个感觉是可行的，DGF对于高分辨率的效果有提升，对低分辩率性价比感觉不太高。处理图片，rec也可以砍掉了。

要处理视频，所以rec减少不知道对结果影响多大

pxEkin commented 3 years ago

@PeterL1n 大佬能提点优化建议吗？除了以上内存开销和模型裁切压缩等问题，我发现： 1.对于存在转场的视频，rec更影响结果，导致更差一点； 2.导出w x h = 1920 x 1080的模型，对于处理w x h = 1080 x 1920的视频，效果没有跟模型宽高比一致的视频好； 3.影子去不掉，这种case比较难，有什么优化建议么；

chengqianma commented 3 years ago

rvm引入rec，处理视频流是个不错的方法，但在手机上部署，目前开销有点大，内存开销：MNN部署1080p s0.25的模型，需要380m内存， coreml也需要300m左右，推理速度也不太够，提出以下几个优化问题： 1.rec目前是r1/r2/r3/r4四层，这个可以减到两层或三层吗？ 2.如果只处理低分辨率视频(或图片)，是不是可以删除DGF？

大佬有在ios上部署过嘛，想知道在iPhone上的运行时间大概是多少。

pxEkin commented 3 years ago

rvm引入rec，处理视频流是个不错的方法，但在手机上部署，目前开销有点大，内存开销：MNN部署1080p s0.25的模型，需要380m内存， coreml也需要300m左右，推理速度也不太够，提出以下几个优化问题： 1.rec目前是r1/r2/r3/r4四层，这个可以减到两层或三层吗？ 2.如果只处理低分辨率视频(或图片)，是不是可以删除DGF？

大佬有在ios上部署过嘛，想知道在iPhone上的运行时间大概是多少。

原版rvm只能用metal，不能用ane跑，iphone12上面(1920x1080 scale=0.25)要180ms-200ms