关于non-local 和 RGA连接权重的区别

microsoft / Relation-Aware-Global-Attention-Networks

We design an effective Relation-Aware Global Attention (RGA) module for CNNs to globally infer the attention.

MIT License

337 stars 65 forks source link

关于non-local 和 RGA连接权重的区别 #5

Open bigmoking opened 4 years ago

bigmoking commented 4 years ago

hi 您好：最近在精读您的文章，但是一直有一个疑问，暂时没有想通，RGA如何学得基于位置变化的一个连接权重？看了下non-local,主要区别是一个是直接加，在这里进行了一个stack操作，还望大佬解惑！

rrjia commented 4 years ago

我也觉得好像就是non-local，但是具体计算的时候比non-local有两个差别 1、有空间non-local和通道non-local 2、跟楼主一样的说法，这里的pairwise relations，是双向的vi和vj的相关系数有两个，所以最后有3个矩阵进行stack再进行一个卷积运算。不知道我理解的对不对