如何得到不同注意力策略的可视化？

zhengchen1999 / RGT

PyTorch code for our ICLR 2024 paper "Recursive Generalization Transformer for Image Super-Resolution"

Apache License 2.0

130 stars 8 forks source link

Open gdsdfn75 opened 2 months ago

gdsdfn75 commented 2 months ago

您好，我再论文中看到图五展示了Visualization of different attention strategies，想请教您一下，不同注意力机制的可视化是如何得到的？

zhengchen1999 commented 2 months ago

你好，图片5是 value distribution，请问你指的是哪个图？

gdsdfn75 commented 2 months ago

您好，不好意思我说成了DAT中的图五。在RGT这篇文章中对应的应该是Figure 3: Visualization of the features in RGT。想知道这样的特征图是如何得到的？

zhengchen1999 commented 2 months ago

将特征（例如HWC），通过avg/min/max，得到HW，再使用cv2.applyColorMap，通过伪色彩表明权重大小。当然，也可以沿着通道，拆分为C个HW，分别可视化。

gdsdfn75 commented 2 months ago

特征（例如HWC）是如何得到的呢？通过avg/min/max，得到HW，再使用cv2.applyColorMap，通过伪色彩表明权重大小这个操作需要在外部代码中实现吗？可以再本论文中提供的代码中实现吗？

zhengchen1999 commented 2 months ago

供参考：截屏2024-09-17 23 18 14 截屏2024-09-17 23 18 47