aipixel / AEMatter

Another matter.
GNU General Public License v2.0
52 stars 2 forks source link

关于网络输出前景物体的图像 #12

Closed astro-fits closed 1 month ago

astro-fits commented 2 months ago

请教一下大佬:

     我记得2年多前有一个alpha matting的工作叫RVMatting 
   (基于ConvLSTM模块而非transformer, https://github.com/PeterL1n/RobustVideoMatting)

     它的网络除了能够输出一个alpha,还能够输出前景图像。
     所以想向大佬请教:
     1  如果我想将AEMatter网络改造成可以推理前景图像的网络,大佬有没有一些建议供尝试 ?
     2  除了RVMatting ,有没有其他的网络也能预测前景图像 ?我想学习和借鉴一下。

    推理前景的图像对我目前的工程开发来说比较重要。
    如果修改后的网络能work,我会将它反馈给大佬。

    祝大佬的文章早日接收。

AEMatte 3 2

Windaway commented 2 months ago

也可以,我在之前测试中加了预测FG的预测头,但是对性能没啥影响,你可以考虑https://github.com/MarcoForte/FBA_Matting/tree/master,这个直接带fg预测。或者利用预测alpha matte加上https://github.com/pymatting/pymatting的closedform或者ml方法提取前景,如果我有功夫我会把那个加fg预测做一个新的分支出来,不过那是早期简化版本。

astro-fits commented 2 months ago

谢谢指导, 我去研究一下。