关于论文中Salience-guidance Supervision的问题

[autoencoder-zz]

Question

首先，感谢楼主分享项目完整的代码！ 看了论文和代码后，关于Salience Supervision有两个问题： 1.Salience-guidance Supervision的提出和原理很好理解，但是我没明白与后面提出方法的联系在哪里，比如Heirachical query filtering中未提到根据Salience-guidance Supervision的得分判断是否过滤 2.其次，在代码中我没找到在哪里计算Salience confidence，按照论文结构框图的意思，应该是在level filtering之后编码器的预处理中，但我似乎没有找到，能否告知我一下在哪个文件的哪块实现的，谢谢！ 再次感谢你们的工作！

补充信息

No response

[xiuqhou]

感谢提问，很好的两个问题。

• 第1个问题在论文中有介绍，限于版面可能没写太清楚。我们是使用Salience supervision得分作为依据来过滤query。具体来说，我们用3.1节的salience supervision去监督一个MLP网络的训练(公式3)，这个网络会为每个query预测一个显著性得分，然后我们为每个特征图level和每个编码器layer中的query得分进行排序，过滤出得分最高的一些query参与编码，过滤的比例就是3.2节的v和w，剩余的query保持不变(公式4)。
• 论文框图中的salience supervision是用于监督MLP网络的训练，而不是指编码器预处理，因此salience confidence的实现是在SalienceCriterion类中，在salience_detr.py文件中。MLP预测显著性得分和后面的query过滤是在salience_transformer.py的MaskPredictor和SalienceTransformer、SalienceTransformerEncoder类中。

其他不明白的地方可以参考B站这位UP主对我们论文和代码的讲解，也欢迎继续提问~

• 论文讲解: https://www.bilibili.com/video/BV1sM4m1k7y7
• 代码讲解: https://www.bilibili.com/video/BV1gt421u79u