HTNet: Human Topology Aware Network for 3D Human Pose Estimation

[gwleeee]

HTNet: Human Topology Aware Network for 3D Human Pose Estimation

https://arxiv.org/abs/2302.09790v1 https://github.com/vefalun/HTNet ICASSP 2023

Abstract

• 3D human body estimation의 에러는 Human body Topology를 통해 전파되고 말단 joint에 에러가 누적됨
• intra part constraint
  • 상위 노드를 참고하여 part 수준에서 말단의 joint에 영향을 끼치는 제약조건
• Graph convolution network와 self-attention을 통하여 joint level, body level dependency를 캡쳐
• joint, part, body 단위의 human topology를 각각의 채널로 사용하는 전략 사용
• 말단 joint에서의 정확도가 기존 sota 방법들보다 18.7% 증가함

Introduction

• 최근 연구
  • Graph convolution network를 이용하여 Human body topology를 모델링
    • “Exploiting spatial-temporal relationships for 3D pose estimation via graph convolutional networks,” in ICCV, 2019
    • “Modulated graph convolutional network for 3D human pose estimation,” in ICCV, 2021
    • “GraphMLP: A graph mlp-like architecture for 3D human pose estimation,”arXiv 2022
  • Transformer의 multi-head self-attention을 이용하여 less related global context에 집중하는 방법
    • “Light- Pose: A lightweight and efficient model with transformer for human pose estimation,” inICASSP, 2022
    • “3D human pose estimation with spatial and temporal transformers,” inICCV, 2021
    • “MHFormer: Multi-hypothesis transformer for 3D human pose estimation,” inCVPR, 2022
• 위 두가지 방법으로는 joint 간의 복잡한 topological 관계를 충분히 캡쳐가 불가능함 → 결국 큰 말단 에러를 발생시킴

• PDoF: Part Degree of Freedom
• PDoF가 클수록, GT와의 에러는 점점 누적됨을 보여줌

• Local joint-level connection (LJC)
  • 인접한 joint 간의 물리적인 연결을 GCN을 이용하여 모델링
• Intra-part connection (IPC)
  • 유사한 athletic trend를 가지는 파트들에 대한 제약조건을 제공
• Global Body-level interaction (GBI)
  • MSA기반으로 intra-part joint 중에서 feature를 추출
• 위 세가지 파트를 channel-split 디자인을 적용

Methodology

각각의 세 파트로 네트워크가 분리되어 있으나, 한 파트의 출력이 다음 파트의 입력에 더해지는 구조임

Local joint-level connection (LJC)

• Graph convolution network 기반의 아기텍쳐

• G=(V,A) / V: 스켈레톤 정보 / A: 인접 행렬

• diagonal node degree matrix는 주대각 성분만을 0이 아닌 값을 가지며, 각 노드의 인접한 노드의 개수를 성분으로 가짐

• 여기서의 GCN은 인접행렬 정보를 노드정보에 취합하여 성분을 전파시키고, weight 매트릭스를 통해 특정 노드 성분을 조합, 강화함

• (X → GCN → GELU → GCN) + X 와 같은 residual 구조로 되어있음

Intra-part connection (IPC)

• 말단으로의 누적 오류를 방지하기 위혀여 IPC 모듈 사용
• 입력에으로 LJC의 결과인 $L_{LJC}$를 더하여 사용

• IPC 모듈 내부
  • 두 세트의 joint에서 topological constraint 적용
    • 각 세트는 지정돈 PDoF를 가지는 joint들의 세트임
    • set 1: 2-PDoF, 3-PDoF (위 figure에서 red, yellow joints → 총 8개) 8 X C
    • set 2: 1-PDoF, 2-PDoF, 3-PDoF (위 figure에서 blue, red, yellow joints → 총 12개) 12 X C

• 1d convolution을 이용하여 limb feature F^{l}
• limb feature F^{l}에 대하여 MLP를 통과시키고, residual을 더하여 aggregation 및 저차원 PDoF joint 대체
• 대체된 joint sets들을 더하여 IPC 완료
  • 즉, IPC에서는 말단의 인접한 joint들의 정보를 conv를 통하여 결합하고 업데이트하여 전파되는 에러를 억제하는 구조를 나타냄

Global body-level interaction (GBI)

Multi-head Self-attention 을 이용하여 human body의 global context를 캡쳐

• 전형적인 transformer 구조를 가짐

세가지 모듈을 통과한 각각의 텐서를 concat하고 MLP를 통과혀여 출력 3D joints를 유도

Experiments

• SOTA와 비교했을때 성능이 우수하다고 주장하는데, 우리가 아는 SOTA가 없음
• 우리는 temporal method에 주목해야 하는데, 기존에 sota로 알고있는 논문과 비교하지 않았음 (아마 적은 seqence length에 대해서 실험해서 그런듯)