fu123456 / SHIQ

Project for CVPR21 paper: "A Multi-Task Network for Joint Specular Highlight Detection and Removal".
85 stars 16 forks source link

复现时遇到问题 #7

Closed hzfengfengxia closed 2 years ago

hzfengfengxia commented 2 years ago

image 你好,在复现代码的时候,我对图中的红圈部分产生了问题,文中的意思是将input图片通过三个卷积层和两个relu就可以得到attention map,然后再和四个不同dilation rate的输出做点积吗?

fu123456 commented 2 years ago

得到的权重图是4个通道的map,每一个通道分别对应一个不同dilation rate的分支。

hzfengfengxia commented 2 years ago

请问方便说一下具体是怎么得出的map的吗,文中好像没有具体提,如果说是直接像图上一样进行简单的卷积,然后得出一个四通道的结果,那它能对四个dilation rate的分支进行处理的原理是啥?它怎么知道怎么分配各个dliation rate的权重?

fu123456 commented 2 years ago

这个实际是通过大量数据进行训练得出的权重图。你如果使用不同的数据集(也就是训练集),这个权重也是不一样的,和数据本身的分布是密切相关的。这个权重图包含了四个通道,分别对应不同的rate的分支。

hzfengfengxia commented 2 years ago

也就是说它相当于一个预训练好的一个简单的网络,负责初步提取图像的特征,请问可以这么理解吗?

fu123456 commented 2 years ago

整个网络是一起训练。

improgress commented 2 years ago

im a junior, wanna know how to get detectRemoval document from the detectionRemoval.cpython-36m-x86_64-linux-gnu.so ?