[76] Visual Attention Network (VAN)

[dhkim0225]

paper code

large kernel attention (LKA) 제안, SOTA 달성

Large Kernel Attention (LKA)

엄청 간단한 아이디어다. 아래 그림은 13x13 conv 를 나눈 그림이다. 노란색이 center point. kernel 의 중심이다. 그림을 보면 알 수 있지만, receptive field 는 동일하다.

그래서 요 block 을 이용해서 self-atttention 역할을 해내자는 논문.

Visual Attention Network (VAN)

이 block 을 어디에다 넣을까 그냥 attention 부분을 전부 교체해 버린다.

downsample 을 넣어서 hierarchical 한 구조로 만들고, 다음과 같이 모델군 구성

Result

ImageNet

COCO Detection

ADE20K Segmentation

Ablation