Human Pose as Compositional Tokens

CVPR2023

Abstract

Pose as Compositional Tokens (PCT)
- joint dependency 탐색
  - Fig 1.을 보면, 특정 토큰을 변화시켜 디코딩 하였을 때, 특정 부분의 관절만이 변화함을 알수 있음
- 휴먼포즈를 M토큰화 (M discrete tokens)
- PCT 정보는 인코더, 디코더를 통해 학습 및 사용 됨
이미지로 부터 M토큰을 분류하는 classifier
- 분류된 M토큰을 이용하여 디코더로 포즈 복원

Encoder
- 인코더 f_e를 통해 pose 정보를 M개의 토큰화 함
  - G는 KxD 차원의 raw pose
  - K: number of joints
  - D: joint dim
  - 각 토큰 t는 H개의 sub-structure로 구성
- 인코더의 구조를 단계별로 보면
  1. pose의 차원을 토큰의 feature와 같은 차원(H)을 가지도록 linear projection
  2. N개의 MLP-mixer를 이용하여 서로 다른 joint의 feature를 결합
  3. 결합된 feature를 기준으로 K개의 joint를 토큰 개수(M)개로 linear projection
Codebook
- 인코더를 통해 추출된 각 토큰의 H차원의 feature를 latent embedding space로 양자화
  - nearest lookup
- 총 V개의 코드로 구성, 각 코드는 N차원(H차원)의 값을 가짐 (논문의 표기 오류인듯 함)
  - 이 연구에서는 1024개의 코드 사용
  - 양자화에러를 최소화 하기 위해서는 입력 이미지의 화소수 만큼의 codebook 필요
- quentized token
Decoder
- 인코더 네트워크와 구조적으로 반대
- MLP-mixer는 하나만 사용함
Training
- sg: stopping gredient
- 첫번째 term은 입출력의 smooth L1 loss
- 두번째 term은 토큰의 feature가 코드와 동일하게 인코딩 되게끔 L2 loss

학습된 코드북과 디코더를 사용하여 포즈 추론

classification head
- backbone feature를 flatten, linear projection 후 MxN 모양으로 만듬
- 4개의 MLP-Mixer
- logit을 통과시켜 확률 → 값 (각 값은 code)
Training
- L은 GT포즈와 인코더를 통해 얻은 토큰 클래스

Datasets and metrics
- Dataset
  - 2D: COCO, MPII / occlusion: CrowdPose, OCHuman, SyncOCC, OCHuman
  - 3D: H36M
- Evaluation metric: OKS, AP, PCKh, MPJPE
Implementation details
- GT bbox가 제공되는 데이터셋 사용 학습
- backbone: SwinTransformerV2 (imageNet-1k)
  - backbone은 고정하고 head만 학습
- MMPose 이용 augmentation (scale, rotation, flip, dropout, color jitter)
- AdamW + warm restart
COCO, MPII
Occlusion
number of codebook entries