Spatial Attention Module

[devLupin]

CBAM: Convolutional Block Attention Module

Overview

• 특징의 공간 간 관계를 활용하여 spatial attention map 생성
• channel attention과 달리 유익한 부분이 어디에 있는지 초점
• 강조하거나 억제할 위치 인코딩
• 두 개의 pooling 작업을 통해 2D 특징맵을 생성하고 특징맵의 채널 정보 집계

Process

• 채널 축을 따라 average pooling($F{avg}$), max pooling($F{max}$)
  • 효율적인 feature descriptor 생성
• Conv layer
  • spatial attention map

computed as:

$\textbf{M}_{s}\left(F\right) = \sigma\left(f^{7x7}\left(\left[\text{AvgPool}\left(F\right);\text{MaxPool}\left(F\right)\right]\right)\right)$

Figure

Official code(Pytorch)

[devLupin]

Tensorflow 구현

class SpatialGate(tf.keras.Model):
  def __init__(self):
    super(SpatialGate, self).__init__()
    kernel_size = 7
    self.spatial = Conv2D(filters=1, kernel_size=kernel_size, strides=1, padding='same', use_bias=False)
    self.bn = BatchNormalization(momentum=0.01, epsilon=1e-5)
    self.relu = Activation('relu')

  def call(self, x):
     avg_pool = tf.reduce_mean(x, axis=[3], keepdims=True)
     max_pool = tf.reduce_max(x, axis=[3], keepdims=True)
     x_compress = tf.concat([avg_pool,max_pool], 3)

     x_out = self.spatial(x_compress)
     x_out = self.bn(x_out)
     x_out = self.relu(x_out)

     scale = tf.math.sigmoid(x_out) # broadcasting
     return x * scale