zhengchen1999 / RGT

PyTorch code for our ICLR 2024 paper "Recursive Generalization Transformer for Image Super-Resolution"
Apache License 2.0
126 stars 8 forks source link

如何得到不同注意力策略的可视化? #15

Open gdsdfn75 opened 1 month ago

gdsdfn75 commented 1 month ago

您好,我再论文中看到图五展示了Visualization of different attention strategies,想请教您一下,不同注意力机制的可视化是如何得到的?

zhengchen1999 commented 1 month ago

你好,图片5是 value distribution,请问你指的是哪个图?

gdsdfn75 commented 1 month ago

您好,不好意思我说成了DAT中的图五。在RGT这篇文章中对应的应该是Figure 3: Visualization of the features in RGT。想知道这样的特征图是如何得到的?

zhengchen1999 commented 1 month ago

将特征(例如HWC),通过avg/min/max,得到HW,再使用cv2.applyColorMap,通过伪色彩表明权重大小。 当然,也可以沿着通道,拆分为C个HW,分别可视化。

gdsdfn75 commented 1 month ago

特征(例如HWC)是如何得到的呢?通过avg/min/max,得到HW,再使用cv2.applyColorMap,通过伪色彩表明权重大小这个操作需要在外部代码中实现吗?可以再本论文中提供的代码中实现吗?

zhengchen1999 commented 1 month ago

供参考: 截屏2024-09-17 23 18 14 截屏2024-09-17 23 18 47