search

xiehousheng / SemLA

Information Fusion 2023 | Semantics lead all: Towards unified image registration and fusion from a semantic perspective.
36 stars 2 forks source link

problem for Semantic-guided feature matching #7

Closed Britajin closed 8 months ago

Britajin commented 8 months ago

您好！请问semantic awareness map（CSA）的semantic是如何体现的呢？使用Jconv和DWT模块提取出的特征与semantic的关联性体现在哪呢？在Semantic-guided feature matching部分，为何仅仅对CSA进行一个阈值判断，就可以提取出semantic objects的特征呢？

xiehousheng commented 8 months ago

感谢您对我们的工作的关注！ 在SemLA中，使用Jconv和DWT模块提取出的特征经过E_Sa后输出图像中的语义感知图，CSA表示了红外与可见光图像的语义感知图，这个语义信息与所训练的数据语义类别有关。 在Semantic-guided feature matching部分，由于我们得到的CSA表示了图像中语义目标感知图，而语义感知图由一个概率图的形式给出，表示了图像中的不同位置是否为语义目标的概率，因此我们可以通过设定阈值，来提取出与语义目标相对于位置的特征，用于后续的特征匹配过程。