CrossFormer: Cross Spatio-Temporal Transformer for 3D Human Pose Estimation

[gwleeee]

CrossFormer: Cross Spatio-Temporal Transformer for 3D Human Pose Estimation

paper: https://arxiv.org/abs/2203.13387 code: not available CVPR2023

Abstract

• 3D HPE -> body part간의 geometric dependency를 encoding, kinematic constraints를 enforcing
• Transformer -> 시공간 도메인 안에서 joint들 사이의 long-range dependency를 encoding
  • locality 개선 필요
• CrossFormer
  • Cross-Joint Interaction
  • Cross-Frame Interaction

Introduction

• 높은 정확도의 3D HPE를 위해서는 joint간의 feature와 frame간의 상호작용이 중요함

3. Method

Notation

• ${x{1},x{2},... ,x_{N}}$ : 2D input frames
• $x_{i}\in\mathbb{R}^{J\times3}$ : 2D body joints
• $N$: total number of frames
• $J$: total number of joints
• $y\in\mathbb{R}^{J\times3}$: 3D body joints (output)

3.1. Transformer

• joint-related context information을 (frame 안에서) & (frame 간에서) 계산

step 1. Patch embedding

• $(J\times2)\times D$차원의 매트릭스 $E$를 이용하여 각 joint를 $D$차원의 feature로 패치화 함
  • Spatial processing -> P is J
  • Temporal processing -> P is N

step 2. Self-attention

• attention score를 통해 input patch들을 암시적으로 연관시킴
  • Z를 Q,K,V로 매핑 후 self-attention 진행
  • 매핑 매트릭스는 learnable 함

• Multi-head Attention(MHA)을 통해 총 $H$개의 self-attention 결과를 weighted-sum 함
  • W또한 learnable 함

step.3

• MHA, layer normalization, MLP를 resnet구조화 하여 L회 반복하여 attention된 patch embedding $Z_{L}$ 계산

3.2. Spatial Interaction

Cross-Joints Interaction (CJI) Module

• 핵심 아이디어

  • MHA 결과에 대해여 joint cost에 상관 없이 joint간의 feature 잘 융합시키는 작업을 진행

• 전형적인 resnet 구조의 반복된 conv로 D domain에서의

  • $D\times J$ feature에 대해 1x5 커널의 conv 수행하여 J 도메인에서의 conv 수행
  • Activation -> Group normalization 통해 conv 결과를 정제
  • 이후 한번더 1x5 커널의 conv 수행

• 각 joint에 대해 embedding된 feature들을 conv하여 정제하는 작업 수행

그러면 이때, J의 순서가 꽤나 중요하지 않을까 생각이 듦

3.3 Temporal Interaction

Cross-Frames Interaction (CFI) Module

• 핵심 아이디어
  • Bi-linear pooling 연산을 통해 joint간의 상관관계 시간 도메인에서 추론
  • 일반적인 self-attention과 다르게 Bi-linear pooling을 통하여 서로 다른 frame의 동일한 joint간의 상관관계를 파악 가능
  • 예를 들어, 한 frame의 상반신 joint에 집중하고 다른 한 frame은 하반신 joint에 집중할 때, 두 파트를 결합하는데 집중함
• 아이디어는 spatial interaction 결과로 나온 각 frame에 대한 feature들의 정보를 하나의 텐서로 엮어 $\mathbb{R}^{F\times{(J\times D)}}$모양으로 만든 후 attention을 통해 적용
  • K, Q, V를 생성하는 각각의 conv 연산을 수행
  • 일반적인 attention과 다르게, cost를 계산하는 연산을 기존 softmax 연산 대신 Bi-linear pooling 연산으로 사용

Z에 대한 shape가 잘못 표현된거 같음 $\mathbb{R}^{F\times{(J\times D)}}$가 맞을듯

3.4 Regression Head

$\mathbb{R}^{F\times{(J\times D)}}$ -> Linear -> $\mathbb{R}^{1\times{(J\times 3)}}$

• 시퀀스를 보고 중앙 frame에 대한 하나의 3D pose를 추론함.

마지막에 F 차원을 살리는 방향으로 연산해서 시퀀스 단위 추론도 가능할듯

3.5 Loss Function

• MPJPE 사용

4. Experiments