About carafe

[DuowenC]

请问您在freqfusion里面所用的mmcv中的carafe算子大致代表什么意思，为什么高通的时候需要用原特征做减法当作输出，低通直接把carafe输出的结果当作输出呢？

[Linwei-Chen]

感谢关注！这里利用carafe作为一种spatial-variant低通滤波的实现来使用，简单来说你可以理解为用动态的低通滤波提取低频部分；减去低频则可以得到高频部分。

[mqdigihub]

感谢关注！这里利用carafe作为一种spatial-variant低通滤波的实现来使用，简单来说你可以理解为用动态的低通滤波提取低频部分；减去低频则可以得到高频部分。

请教下作者大佬，为什么carafe可以作为一种低通滤波来使用呢，代码里面提取低通高通特征，都只是使用了卷积、softmax等操作，这毕竟不是在频域上操作，无法理解这个高通低通如何提取，如何体现出这种操作提取出了高通、低通特征呢？还想问下，这个代码里面的hanming窗起了什么作用呢？如果可以答疑，非常感激。

[Linwei-Chen]

很好的问题，您可以参考Instance Segmentation in the Dark, IJCV这篇文章。

[mqdigihub]

很好的问题，您可以参考Instance Segmentation in the Dark, IJCV这篇文章。

好的，谢谢作者！论文框架图和源码，看起来不太对应，请问这是更换了一种等同的方式来实现吗？

[Linwei-Chen]

是的，是等价的；按代码的方式是很难画出清楚明白的图的。

很好的问题，您可以参考Instance Segmentation in the Dark, IJCV这篇文章。

好的，谢谢作者！论文框架图和源码，看起来不太对应，请问这是更换了一种等同的方式来实现吗？

[mqdigihub]

是的，是等价的；按代码的方式是很难画出清楚明白的图的。

很好的问题，您可以参考Instance Segmentation in the Dark, IJCV这篇文章。

好的，谢谢作者！论文框架图和源码，看起来不太对应，请问这是更换了一种等同的方式来实现吗？

好的，明白，谢谢作者！

[LIyyyy98]

感谢关注！这里利用carafe作为一种spatial-variant低通滤波的实现来使用，简单来说你可以理解为用动态的低通滤波提取低频部分；减去低频则可以得到高频部分。

代码中有一部分，用从compressed_hr_feat提取的初始低通滤波对从compressed_lr_feat中得到初始低通滤波特征进行滤波后，再进行上采样。上采样之前进行滤波的目的是什么？

[Linwei-Chen]

感谢关注！这里利用carafe作为一种spatial-variant低通滤波的实现来使用，简单来说你可以理解为用动态的低通滤波提取低频部分；减去低频则可以得到高频部分。

代码中有一部分，用从compressed_hr_feat提取的初始低通滤波对从compressed_lr_feat中得到初始低通滤波特征进行滤波后，再进行上采样。上采样之前进行滤波的目的是什么？

可以参考Enhance Initial Fusion章节

[LIyyyy98]

谢谢作者的答疑